分享一个垂直金融行业的本地140亿金融大模型一键运行包,大小为:15G左右,需要准备20G以上的磁盘。
硬件准备:
需要一张显存12G+的英伟达显卡。比如3060+, 3090,+,4060+,4090等,不能用A卡(amd卡)
2. 软件环境
操作系统Win11/Win10
其他基本不需要自己准备。
3. 使用方法
首先,获取软件包并解压。最好是解压在某个盘的根路径下面。如果是子路径,注意不要用中文和空格。
特色:
无需任何其他环境配置,只需硬件跟上,解压即可使用,无需安装其他扩展。
下载解压后的文件包为:
本模型为千问通义一键运行包,本模型默认使用的140亿金融大模型,支持显卡显存最低12G即可。
包含一键运行三个方式:
第一个方式为:窗口模式,直接点击启动run_cli.bat
第二个方式是web版本,类似gpt一样网页版运行,只需要点击run-api.bat即可
第三个版本是run-api.bat,运行这个之后,就可以通过火车头进行入库,发布到网站。(具体操作可以私聊我,收辛苦费)