ComfyUI-ConDelta:类似于LoRA或嵌入,但更轻量、更高效的向量调节

ConDelta 是一种通过从一个提示条件向量中减去另一个提示条件向量得到的潜在向量。这个向量编码了两个提示之间的差异,可以在生成图像时以任意强度添加到其他提示中,从而影响生成结果。它的效果类似于LoRA或嵌入,但更轻量、更高效。

用通俗的话说,ConDelta 是通过在CLIP(或其他模型)处理后,从一个提示向量中减去另一个提示向量得到的。例如:

  • 如果你有两个提示:"An art deco city" 和 "A city"。
  • 通过计算 "An art deco city" - "A city",你可以得到一个编码了“艺术装饰风格”概念的ConDelta。

这个ConDelta可以保存下来,并在生成新图像时应用于其他提示。因为它是一个向量,所以可以正向或负向缩放,甚至可以用作负面提示的替代品。ConDelta 文件非常小(Flux为4MB,SDXL约为0.6MB,SD15可能更小),因此对内存占用几乎可以忽略不计,也不会影响生成速度。

以下是一个示例图像,展示了这在Flux中的工作情况,从右到左是丛林ConDelta,从上到下是月球基地ConDelta(理论上可以添加任意多个)。

为什么使用ConDelta?

  1. 轻量级:ConDelta文件非常小,不会显著增加内存或存储负担。
  2. 高效:由于它是通过修改现有向量来影响生成结果,因此不会对生成速度产生负面影响。
  3. 灵活性:可以正向或负向缩放,允许用户精细控制生成结果的风格或特征。
  4. 可组合性:理论上可以同时应用多个ConDelta,进一步增强生成的多样性和复杂性。

如何使用ConDelta?

1. 准备工作

安装此插件后,在ComfyUI的models文件夹中创建一个名为ConDelta的文件夹(注意区分大小写)。然后,将custom_nodes/ComfyUI-ConDelta/sample_models中的文件复制到刚刚创建的ConDelta文件夹中。

2. 在工作流中插入ConDelta节点

在你的Comfy工作流中,在Clip Text Encode和KSampler之间插入Apply ConDelta节点,如下所示:

3. 调整ConDelta强度

Apply ConDelta节点中,你可以调整ConDelta的强度(权重)。正值会增强该风格的影响,负值则会减弱或反转该风格的效果。这使得ConDelta不仅可以用于增强特定风格,还可以用于去除或抑制某些特征。

0

评论0

没有账号?注册  忘记密码?