ComfyUI最新更新，增加了对蒙版和调度 LoRA 及模型权重的原生支持

自12月2日以来，ComfyUI 增加了对蒙版和调度 LoRA 及模型权重的原生支持，这为用户提供了更精细的控制，使得创建复杂且定制化的图像生成流程变得更加容易。本文将详细解释如何使用这些新功能，包括蒙版和调度的具体操作方法。

• 官方介绍：https://blog.comfy.org/masking-and-scheduling-lora-and-model-weights

一、蒙版（Masking）

蒙版允许你指定哪些部分的图像应该应用特定的LoRA或模型权重。这对于在图像的不同区域应用不同的风格或效果非常有用。以下是蒙版的基本工作原理：

1、加载LoRA及模型权重：

• 使用“创建挂钩LoRA”节点加载LoRA权重。
• 使用“创建挂钩模型为LoRA”节点加载目标模型的CLIP和扩散模型权重。
• 这些节点不会立即注册权重到CLIP或扩散模型上，而是将它们作为挂钩存储，以便后续应用。

2、设置CLIP挂钩：

• 使用“设置CLIP挂钩”节点，使CLIP在执行文本编码时考虑CLIP挂钩中的权重。
• 如果apply_to_conds设置为True，默认情况下会自动将挂钩附加到输出条件上，确保CLIP和条件都能应用相同的权重。

3、条件设置属性：

• 使用“条件设置属性”或“条件对设置属性”节点为条件分配蒙版、时间步长范围以及额外的挂钩。
• 确保所有条件都应用了蒙版，以避免未定义区域导致的意外结果。

4、组合条件：

• 使用“条件对组合”节点将相同类型的条件（正与正，负与负）组合在一起。
• 对于多个蒙版条件，可以使用“条件对设置默认组合”节点来确保所有区域都被覆盖，防止出现无意义的米色输出。

5、应用到KSampler：

• 将组合后的条件传递给KSampler节点，它会在采样过程中自动应用相应的挂钩和蒙版。

示例：假设我们有两个正条件和两个负条件，每个条件都有不同的蒙版。我们可以使用“条件对设置属性”为每个条件分配蒙版，然后使用“条件对组合”将它们合并，最后传递给KSampler进行采样。

二、调度（Scheduling）

调度允许你在采样的不同步骤中动态调整LoRA或模型权重的强度。这对于在采样的早期阶段保持基础模型的构图，而在后期应用特定的风格化效果非常有用。以下是调度的基本工作原理：

1、创建挂钩关键帧：

• 使用“创建挂钩关键帧”节点定义调度的关键帧。每个关键帧包含两个参数：

  • strength_mult：将LoRA挂钩的强度乘以的值。
  • start_percent：关键帧应在采样期间生效的时间，范围为0.0到1.0。
• 例如，start_percent=0.0表示从采样的最开始应用，start_percent=0.5表示在采样的中间应用。

2、插值调度：

• 使用“创建挂钩关键帧插值”节点可以快速创建线性或非线性的调度。你可以指定起始和结束强度、起始和结束百分比以及关键帧的数量。
• 例如，strength_start=0.5，strength_end=1.0，start_percent=0.0，end_percent=0.5，keyframes_count=5，这将创建5个关键帧，从采样的开始到中间逐渐增加强度。

3、应用调度：

• 使用“设置挂钩关键帧”节点将调度分配给挂钩。这将覆盖提供给它的挂钩上的调度。
• 如果你想为不同的挂钩提供独特的调度而不覆盖先前挂钩的调度，可以使用“组合挂钩”节点。

4、CLIP调度：

• 在“设置CLIP挂钩”节点中，schedule_clip切换控制是否将调度应用于CLIP。默认情况下，它设置为False，意味着调度仅应用于扩散模型。如果设置为True，CLIP也会根据调度调整权重，但这可能会增加计算时间。

示例：假设我们想在采样的前半段应用较弱的LoRA效果，而在后半段应用较强的LoRA效果。我们可以创建两个关键帧，一个在start_percent=0.0时将强度乘以0.5，另一个在start_percent=0.5时将强度乘以1.0。然后使用“设置挂钩关键帧”节点将这些关键帧应用到挂钩上。

三、结合蒙版与调度

你可以轻松地将蒙版和调度结合起来，以实现更复杂的图像生成效果。例如，你可以在图像的某些区域应用特定的LoRA效果，并在采样的不同步骤中动态调整这些效果的强度。具体操作如下：

1. 为条件设置蒙版：使用“条件设置属性”为每个条件分配蒙版。
2. 为挂钩设置调度：使用“创建挂钩关键帧”或“创建挂钩关键帧插值”为挂钩创建调度。
3. 组合条件：使用“条件对组合”将所有条件合并。
4. 应用到KSampler：将组合后的条件传递给KSampler进行采样。

示例：假设我们有一个图像，左侧区域应用了一种风格化的LoRA，右侧区域应用了另一种风格化的LoRA。我们可以通过为每个区域设置不同的蒙版，并为每个LoRA创建不同的调度，来实现左侧在采样的前半段应用较弱的效果，右侧在后半段应用较强的效果。

四、总结

ComfyUI 的新功能——蒙版和调度 LoRA 及模型权重——为用户提供了更强大的工具，用于创建复杂且定制化的图像生成流程。通过灵活使用这些功能，你可以精确控制图像的不同区域和采样的不同步骤，从而实现更加多样化和高质量的生成结果。

• 蒙版：允许你在图像的不同区域应用不同的LoRA或模型权重。
• 调度：允许你在采样的不同步骤中动态调整LoRA或模型权重的强度。
• 结合使用：可以同时应用蒙版和调度，以实现更复杂的图像生成效果。