玩转大模型之三（FastGPT+OneAPI本地部署）

后续课程我会给大家介绍如何搭建本地化模型，因为上面的课程里面咱们还是使用的大厂的模型，虽然个人测试不需要收费，但是用的人多了，还是会把token额度耗尽，有条件的话，最好搭建开源的本地化模型，这样无论怎么用都不受限制了。到此为止，咱们就完成了基本的大模型和知识库结合的应用，是不是很简单，大家可以准备一台cpu虚拟机，按照我介绍的步骤，来体验一下大模型的魅力吧。到了这一步，基本就完成了底层模型的配置

mopmgerg54mo

2128人浏览 · 2024-07-24 14:20:32

mopmgerg54mo · 2024-07-24 14:20:32 发布

一、服务器
服务器：一台 Linux 16核32G IP:10.33.19.16
基础环境：Docker、Docker-Compose

二、FastGPT安装
首先下载 docker-compose.yml和config.json两个文件

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

然后通过docker启动

docker-compose up -d
# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)
docker restart oneapi

打开浏览器，可以通过http://10.33.19.16:3001/访问OneAPI，默认账号为root密码为123456。
在这里插入图片描述
最后可以通过http://10.33.19.16:3000 直接访问(注意防火墙)。登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。如果需要域名访问，请自行安装并配置 Nginx。首次运行，会自动初始化 root 用户，密码为 1234
在这里插入图片描述
到了这里，相关的程序安装就基本结束了，但是现在还没法直接使用FastGPT进行对话，因为咱们还没有配置大模型，接下来就是告诉大家如何来配置模型。

三、FastGPT配置
1、申请通义千问API-KEY值
每个新用户都可以在阿里上面注册使用通义千问的模型，个人测试基本额度够用了，好像是100万的Token。申请步骤按照官网指引即可。
打开API-KEY申请指导官网：
https://help.aliyun.com/zh/dashscope/developer-reference/activate-dashscope-and-create-an-api-key跟随官网创建API-KEY。

2、配置oneapi的渠道和令牌
在这里插入图片描述
密钥处填写从大模型厂商获得的API Key。

配置完成后可以点击那个绿色的测试按钮验证通道是否成功。接下来继续配置令牌，这个就非常easy了，直接在令牌页面新建一个永不过期的令牌即可，创建好了之后复制下来，后面需要用到。
在这里插入图片描述
3、配置fastGPT
修改 FastGPT 配置文件config.json
vectorModels节点下面新建qianwen模型（vectorModels用于知识库索引模型）
Name需要与oneai中配置的名称一致，model选择该渠道下面的某个模型

{
      "model": "qwen-turbo",
      "name": "qianwen",
      "inputPrice": 0,
      "outputPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
}

修改docker-compose.yml文件配置：
在这里插入图片描述
其中chat_api_key填写oneai中创建好的令牌信息。
最后用下面的命令重启fastgpt:

docker-compose down
docker-compose up -d

四、FastGPT测试知识库训练
1、新建一个知识库
在这里插入图片描述
索引模型选择上面配置的qianwen
》导入知识文件（支持 .txt, .docx, .csv, .xlsx, .pdf, .md, .html, .pptx 类型文件）

》搜索测试

到了这一步，基本就完成了底层模型的配置了，但是目前只是把知识库搭建好了，还需要创建应用，只有应用才能集成到其他系统当中使用。
》新建一个应用，然后选择qianwen模型，并且关联上一个步骤中的知识库，只有这样，对话的时候才会引用知识库中上传的一些文档内容。
在这里插入图片描述
五、FastGPT应用集成
目前应用支持两种集成模式：窗口集成和api集成，如果大家图简单的话，就用窗口集成：

创建一个免登录窗口，然后根据窗口的展示方式选择对应的js代码放到你的业务系统当中，这样的话，你的页面就会嵌入fastGPT的对话窗口了。
在这里插入图片描述
对话框的一些图标和样式都可以在这个窗口里面定义。
到此为止，咱们就完成了基本的大模型和知识库结合的应用，是不是很简单，大家可以准备一台cpu虚拟机，按照我介绍的步骤，来体验一下大模型的魅力吧。
后续课程我会给大家介绍如何搭建本地化模型，因为上面的课程里面咱们还是使用的大厂的模型，虽然个人测试不需要收费，但是用的人多了，还是会把token额度耗尽，有条件的话，最好搭建开源的本地化模型，这样无论怎么用都不受限制了。