ComfyUI基础教程-使用LoRA模型

什么是LoRA模型？LoRA 模型全称是 Low-Rank-Adaptaion of Large Language Models，这是一种用于微调大语言模型的低次序适应技术。简而言之，在 AI 绘画中，LoRA 模型可以让我们在不修改大模型的情况下，利用少量数据训练出具有特定画风、IP 或者人物特征的模型，从而达到调整图像风格和内容的目的。LoRA模型是一种微调模型，它不能独立生成图像，一般用作大

程序员筱筱

1504人浏览 · 2025-02-10 14:00:00

程序员筱筱 · 2025-02-10 14:00:00 发布

什么是LoRA模型？

LoRA 模型全称是 Low-Rank-Adaptaion of Large Language Models，这是一种用于微调大语言模型的低次序适应技术。简而言之，在 AI 绘画中，LoRA 模型可以让我们在不修改大模型的情况下，利用少量数据训练出具有特定画风、IP 或者人物特征的模型，从而达到调整图像风格和内容的目的。LoRA模型是一种微调模型，它不能独立生成图像，一般用作大模型的补充，用来生成某种特定主体或者风格的图片，比如插画风格、电商摄影、粘土风格等等。

下载LoRA模型

每个模型网站数量最多的可能就是LoRA模型了。可以很直观的在示意图的左上角看到模型的类型，以 liblib.art 为例，左上角的“LORA”表示这是一个LoRA模型，如果是大模型，会显示“Checkpoint”。

另外 LoRA 模型是在基础模型的基础上微调训练出来，所以也有模型版本的区分，比如 SD1.5、SDXL、FLUX，不同版本的基础模型和LoRA模型不能混用。比如 “LORA” 表示这是一个基于 SD1.5 的 LoRA 模型，只能与 SD1.5 的基础模型搭配使用。“LORA F.1” 则表示这是一个基于 FLUX 的 LoRA 模型，需要与 FLUX 基础模型搭配使用。

点击图片，来到模型下载页面，在这里我们会看到关于这个 LoRA 模型的关键信息。在右边，可以看到两个信息：

1，下载链接。点击下载，模型文件放在 ComfyUI\models\loras 里。

2，模型基础信息，包含模型版本及功能描述。

3，推荐参数。推荐搭配的基础模型，LoRA模型权重值。

在页面的左边，是作者提供的模型使用信息，一般会包含模型的介绍，推荐提示词，触发词等等。在使用 LoRA 模型的时候，仔细阅读作者的说明，根据建议设置参数，会获得更理想的图像效果。

使用 LoRA 模型

在 ComfyUI 中使用 LoRA 模型，我们只需要在大模型的后面添加加载 LoRA 模型的节点。

双击 ComfyUI 界面空白处，在弹出的搜索框内输入 lora，在下拉列表选择 LoRA加载器。

在 LoRA 列表选择要使用的模型。

模型强度和 CLIP 强度都是用来控制 LoRA 模型对图片风格的影响力的，值越大生成的图片越贴近 LoRA 风格，但也有过拟合的风险，也就是生成出来的都是一个样子，缺少变化，或者不遵守提示词的描述。

但是也要注意到它们影响的方面不同，CLIP 强度影响的是模型对提示词的理解，较高的 CLIP 强度会让生成结果更准确；模型强度则直接影响 LoRA风格能否被应用到生成图像中。

最后我们需要把 LoRA 模型连接到 SD 基础模型上，这里有两条连接线：

模型-模型：将模型连接到模型。LoRA 模型是在 SD 基础模型上训练出来的，它会更改 SD 基础模型中的部分参数，所以我们需要把它连接到 SD 基础模型。

CLIP-CLIP：将 CLIP 连接到 CLIP。CLIP 是模型中的文本编码器，我们知道SD生成图片时需要提示词，但是模型并不能直接理解文本字符，模型是通过大量的向量计算（向量就是有方向的数字，比如加速度这种）得出的结果，所以生成图片前，需要先把提示词转换成向量，CLIP 就是干这件事的。LoRA 模型同样会更改 SD 基础模型中的 CLIP，所以我们要做这个连接。

接下来就可以搭建整个工作流了。下面是完整的工作流：

加载基础模型
加载 LoRA 模型
设置CLIP停止层
正向提示词
负向提示词
K采样器
空Latent
VAE解码器
预览图像

可以看到，我们使用 LoRA 模型生成了预期中的中国风风景图像。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。