ComfyUI_AdvancedReduxControl:对Redux模型效果提供更灵活的控制

随着黑森林实验室的Redux模型的推出,用户们发现这一模型主要功能在于生成图像的多种变体,然而,它并不支持根据特定提示来定制化修改图像。这意味着,当您尝试在Redux中加入特定提示时,这些提示往往不会被系统所采纳。此外,Redux中缺乏诸如强度调节滑块等工具,无法让用户精细控制条件图像对最终生成图像的影响程度。

为了解决这些问题,开发者kaibioinfo开发了一个自定义节点ComfyUI_AdvancedReduxControl,旨在提供对Redux效果更灵活的控制。以下是关于这个节点的详细介绍,包括其最新版本的更新日志、使用方法及背后的技术原理。

更新日志

  • v2.0:新增了对条件图像进行遮罩处理和支持非正方形图像的功能。虽然基础节点未作改动且保持向下兼容,但高级模式已进行了全面重设计,以适应新的需求。

使用方法

对于希望了解具体操作流程的朋友,开发者已在GitHub上上传了相关工作流程文件。simple_workflow.json文件包含了单一设置的工作流,而advanced_workflow.json则提供了更多的自定义选项,包括遮罩处理和不同长宽比的支持。

StyleModelApplySimple 节点

此节点作为ComfyUI StyleModelApply节点的替代方案,提供了一个简单的强度调节选项,用以控制条件图像对生成图像的影响。推荐使用“中等”强度设置,特别是在应用遮罩的情况下,可能需要选择“最强”或“强”设置。

ReduxAdvanced 节点

这是一个功能更为丰富的节点,它接受条件(即提示)、Redux样式模型、CLIP视觉模型以及可选的遮罩作为输入。关键参数包括:

  • downsampling_factor:控制条件图像影响强度的核心参数。取值范围为1至9,其中1表示最强影响,5为最弱影响,“中等”强度对应值为3。
  • downsampling_function:提供了多种图像缩放算法供选择,默认为“区域”,但也支持“双三次”和“最近精确”等选项。
  • mode:定义了图像裁剪方式,包括中心裁剪(默认)、保持长宽比和带遮罩的自动裁剪。
  • weight:通过缩小Redux令牌(Token)来间接减弱Redux对生成图像的影响。
  • autocrop_margin:仅在选择“带遮罩的自动裁剪”模式时生效,用于指定裁剪边缘的宽度。

Redux 技术背景

Redux的工作机制分为两个阶段:首先,通过Clip Vision模型将输入图像转换为固定尺寸的方形图像,并将其划分为多个小块;随后,这些小块经由Redux处理后被映射到T5潜在空间中,作为附加信息融入用户的初始提示中。

为了平衡用户提示与Redux生成提示之间的影响力,本自定义节点采用了以下几种策略:

  • 令牌下采样:通过减少Redux提示中令牌的数量来降低其整体影响。
  • 插值方法:利用卷积函数实现对Redux提示的进一步优化。
  • 令牌合并:合并相似的令牌,从而减少Redux提示的长度。
  • 令牌缩放:通过调整令牌的权重来调控Redux的效果。

综上所述,通过这些精心设计的功能,您可以更加精准地掌控Redux模型生成图像的过程,从而获得更加符合预期的结果。

0

评论0

没有账号?注册  忘记密码?