文生图

预计阅读时间1 分 155 views

之前已经在界面(基础工作流创建)为大家讲解了如何创建最基础的工作流,但基础工作流只能加载SD1.5模型,那SDXL模型、Lora模型该如何在ComfyUI上运行呢?今天就来给大家讲解一下。

Lora

LoRA是微软技术人员于2021年为解决大语言模型微调而开发的一项技术,用于大语言模型在特定任务或领域上的高效适应,这是一种既节省资源又保持高性能的解决方案。更具体信息,请查看:Stable Diffusion绘画中常用的LoRA模型是什么?

在了解完基础工作流创建和LoRA模型后,LoRA模型的节点该如何添加呢?其实只需在基础工作流上添加一个LoRA模型加载节点即可,大家也不需要一步一步的添加,直接点击右侧面板的加载默认按钮,就会加载一个基础工作流。

1、添加 LoRA 节点

只需要右键 → 新建节点 →加载器→ LoRA加载器,即可添加 LoRA 节点

2、连接节点

节点左侧与 大模型相连,右侧与 CLIP 和 K采样器 相连,连线的规则也已经在界面(基础工作流创建)里为大家讲解过

如果要添加多个Lora,请看下图,使用串联方法连接

3、VAE

大家在下载LoRA模型的时候,请注意查看模型介绍,作者是否有推荐大家使用的大模型、LoRA和采样器,请根据作者的介绍来进行添加。

请根据LoRA作者的要求进行设置,如果有特殊VAE的要求,大家可以添加独立的VAE节点

SDXL

SDXL模型与SD1.5模型不同,他其实是由两个模型组成,具体可参考Stable Diffusion XL(SDXL),基础与细化(refiner)模型,不过目前很多第三方模型已经不需要refiner模型来进行细化,大家使用基础工作流就可以进行生图,不过还是要给大家细说一下怎么使用官方发布的SDXL如何在ComfyUI上使用。

一、加载 refiner 模型

加载基础工作流,在适当位置添加一个 Checkpoint 加载器,将节点标题更改为 refiner 模型

二、提示词输入

1、有了模型节点,接下来需要连接提示词。不仅基础模型需要连接提示词,refiner 细化也需要提示词作为基础,根据之前的连线规则,这时候就有问题了,总不能每次生图都要输入两次正反提示词吧?

2、因此我们需要输入一次提示词,就可以被两个模型使用,这时候我们就需要在“CLIP 文本编码器”上做一些改变

3、在“CLIP 文本编码器”上右键,选择“转换文本为输入”,这样我们就可以将文本输入框转换为文本节点,并传输内容到“CLIP 文本编码器”。

4、右键,选择“新建节点” -> “实用工具” -> “Primitive元节点”作为输入提示词的节点

5、连接“CLIP 文本编码器上的文本”和“Primitive 元节点”,这样之前输入的内容就会出现在“Primitive 元节点”上,并且还可以修改

使用克隆,快速创建节点

6、将“Primitive 元节点”作为输出项,连接到另一组“CLIP 文本编码器”,然后克隆这两组“CLIP 文本编码器”连接到 refiner 模型。

需要四个CLIP 文本编码器

三、K 采样器(高级)

1、在之前教程里已经提到,在采样器选择中,有两个选项:“K 采样器”和“K 采样器(高级)”。今天将讲解高级采样器的使用。

2、高级采样器具有“添加噪波、开始降噪步数、结束降噪步数、返回噪波”等选项,少了“降噪”选项。

  • 添加噪波:控制是否生成随机种子。对于基础模型连接的采样器,启用此选项(enable);对于 refiner 模型连接的采样器,禁用此选项(disable)。(PS:refiner 模型是对生成的图片进行细化,因此种子应与 base 模型相同)
  • 开始/结束降噪步数:定义从哪一步开始/结束降噪。对于 base 模型,通常从第 0 步开始;对于 refiner 模型,开始步数与 base 模型的结束步数相对应。(PS:总步数 40 步,base 模型的结束步数是30,那 refiner 模型的开始步数就是 30)
  • 返回噪波:将随机种子返回给下一个采样器。对于 base 模型连接的采样器,启用此选项;对于 refiner 模型连接的采样器,禁用此选项。

3、连接采样器,并将 refiner 采样器的“Latent”与 base 采样器的输出“Latent”连接,创建一个设置图片尺寸的节点,连接到base 采样器

四、VAE 解码及保存图像

1、将 VAE 解码器与 refiner 采样器连接。可以选择连接任何大模型的 VAE端点,或使用“VAE 加载器”加载一个;连接完成后,运行流程以检查是否有错误。

流程创建完毕后,检测是否有错误

2、若要查看 base 模型连接的采样器生成的图像,可以在 base 采样器后连接一个“VAE 解码”和“预览图像”节点。使用“预览图像”是因为输出的图像可能带有噪点,直接保存会占用存储空间。

 

优化流程

1、提取共享参数

完成SDXL的流程创建后,您可能会发现在两个采样器上都需要输入总步数、开始降噪步数、结束降噪步数等参数,这显得很繁琐。为了简化此过程,我们可以将这些共享参数提取出来,以实现更高效的参数管理。

2、统一输入数值

观察上述六个数值,我们发现两个总步数应该是相同的,而 base 采样器的结束降噪步数与 refiner 采样器的开始降噪步数也应该保持一致。因此,我们可以将这两组数值统一进行输入。

3、 转换参数为输入

  • 在 base 采样器上,右键点击并选择“转换步数为输入”和“转换结束降噪步数为输入”。
  • 在 refiner 采样器上,同样右键点击并选择“转换步数为输入”和“转换开始降噪步数为输入”。

这样,我们就将这些参数转换为了可输入的节点,使得参数的调整变得更加灵活和方便。

4、 创建输入节点

  • 接下来,我们需要创建两个“Primitive元节点”作为输入节点。这可以通过右键点击并选择“新建节点” -> “实用工具” -> “Primitive元节点”来完成。
  • 创建好两个输入节点后,一个用于连接步数,另一个用于连接结束/开始降噪步数。

5、完成与保存

  • 如果你觉得线条和布局过于混乱,可以新建分组,对节点进行分组,让整个工作流更加清晰明了
  • 最后,请记得保存您的工作流,以便下次使用时可以直接加载,无需重复上述步骤。

评论0

分享此文档

文生图

或复制链接

文章目录
没有账号?注册  忘记密码?