摘要：简单几步，带你使用 AI Gallery，基于 ChatGLMV2 构建电商领域的专属问答助手。

本文分享自华为云开发者联盟微信公众号《如何 1 分钟玩转 AI 大模型微调推理？（文末有福利）》

想要低成本用好大模型，必然离不开对它的微调 (Fine Tuning)。

那么，为什么大模型需要微调呢？

举个例子：一个通用大模型涵盖了许多语言信息，我们和它可以进行流畅的对话。但是如果想要它正确回答“布洛芬能和中药同时吃吗?”我们就需要对这个基础模型进行微调，为它提供新的数据以供学习和理解。

预训练大模型就像是一个通用性人才，可以完成很多通用任务，比如回答问题、总结数据、编写代码等，但没有一个模型可以解决所有的问题，尤其是行业内的专业问答。所以需要使用特定的数据集对大模型进行微调，从而让它成为法律、金融、医疗、艺术等专业领域的专家。

本文带你在华为云上玩转 AI 大模型，1 分钟完成你想要的大模型微调和推理。

大模型怎么训推更高效？AI Gallery 告诉你！

华为昇腾 AI 云服务开放兼容，支持百模千态的应用开发，同时提供了一站式 AI 社区服务平台 AI Gallery，帮助开发者快速创建 AI 应用。该专区收录了业界主流开源大模型，如 LLaMA、ChatGLM、Qwen、Baichuan 等等，并全面基于昇腾 AI 云服务进行适配和优化，显著提升精度和性能；而且提供了丰富的应用开发工具链，开发工具已经全部实现了云化，免去繁琐的配置流程，实现一键接入，即开即用。

以ChatGLMV2 为例，简单几步，即可在 AI Gallery 上进行微调和部署，定制满足业务需求的大模型，如加入公开的金融类问答数据提高它在金融领域的问答效果，基于医学知识图谱以及医学文献数据得到擅长中医草本知识的对话大模型……

下面简单几步，带你使用 AI Gallery，基于 ChatGLMV2 构建电商领域的专属问答助手。

1. 选择模型

点击链接，进入到 AI Gallery 官网，单击“模型”进入模型列表，平台提供了大量基于昇腾云底座适配的三方开源大模型，供开发者进行使用，开发者可根据需求选择合适的已认证大模型。这里我们以 GLM 模型为例。

2. 选择预置数据集，启动微调训练

在模型详情页，选择“训练 > 微调大师”进入微调工作流页面。

首先上传你想要微调方向的数据集，这里我们选择提前准备好的优化广告文案的数据集，配置匹配数据集的相关参数。

然后选择适合该大模型训练的计算规格，当前通过大量开发者实践，针对主流昇腾云开源大模型，AI Gallery 沉淀了最佳的算力组合方案。开发者可以直接选择推荐的规格，确认配置信息，并正式启动训练任务。

模型微调训练完成后即可生成开发者的专属大模型，开发者可以查看相关的训练指标效果，比如资源使用率，训练 Loss 曲线等。

3. 将模型部署为在线推理服务，生成业务可直接使用的 API

微调训练成功后，我们着手模型的部署。开发者可以进入生成的大模型详情页，选择“部署 > 推理服务”进入部署推理服务页面：

• 在部署推理服务页面完成参数配置。

• 服务参数配置完成后，单击“启动部署”。

• 在“订单信息确认”页面，确认服务信息和费用，单击“确定”跳转至在线推理服务列表页。

• 当“状态”变为“运行中”表示在线推理服务部署成功，部署后即可直接调用 API 使用。

4. 验证模型效果

开发者也可以在微调列表选择微调好的模型，部署为可查看实际体验的 AI 应用，直观查看微调后问答助手的回答效果。

在模型详情页选择“部署 > AI 应用”进入页面，开始 AI 应用创建设置，如名称、规格等等，完成基本信息设置后，即可进入到可视化页面。直接输入你的需求，比如为产品收腰的鱼尾裙写一段广告词，启动推理，便可在右侧获得模型推理的结果。

文生图、音乐、视频，更多 AI 趣味应用等你来体验

常规的对话大模型之外，AI Gallery 还提供计算机视觉、深度学习方面的模型，开发者可以根据左边的标签分类，选择自己需要的。

同时，AI Gallery 上还有很多免费体验的 AI 项目，让开发者零代码无门槛体验大模型的“魔力”，可以一句话生成图片和视频，也可以做个 AI 问答机器人……此处推荐几个热门项目：

儿童节变身小小音乐家，用 ModelArts 制作一张 AIGC 音乐专辑

Open-Sora 文生视频原来在 AI Gallery 上也能体验了

重磅！【支持中文】stable-diffusion-3安装部署教程-SD3 来了

特别福利：免费领取云主机，赢取华为全联接大会 2024 的门票

从底层算力到 AI 平台再到模型服务，华为云持续深耕投入，帮助更多开发者从创意萌芽到项目落地的每一步都更加流畅高效，在大模型时代快人一步。

当前，华为开发者空间云主机正在公测中，首批体验名额火热开放中。点击链接，领取免费云主机，在开箱即用的开发环境中快速基于微调后的大模型开发各种 AI 应用。

福利加码 ING，点击链接，参与留言将有机会赢取华为全联接大会 2024 的门票。

点击关注，第一时间了解华为云新鲜技术~