ComfyUi-Untwisting-RoPE:无需训练的 DiT 模型风格迁移插件(支持 Krea2/Flux/Qwen)

插件4个月前发布 小马良
275 0

ComfyUi-Untwisting-RoPE 是学术界热门论文“解旋 RoPE (Untwisting RoPE)”在 ComfyUI 中的开源实现。它允许用户在不重新训练模型、不使用 LoRA 的情况下,通过调整 Transformer 内部的位置编码频率,实现从单张参考图到生成图像的精准风格迁移。

  • GitHub:https://github.com/BigStationW/ComfyUi-Untwisting-RoPE
  • 网盘:https://pan.quark.cn/s/7d84a9d27b29

该节点包由社区开发者维护,并特别扩展了对最新 Krea2 模型的支持,使其成为目前 Flux、Qwen-Image 及 Krea 系列用户进行零样本风格迁移的首选工具。

解开 RoPE 的“结”:西蒙菲莎大学与特拉维夫大学提出“Untwisting RoPE”,彻底解决 DiT 模型风格迁移中的“参考复制”难题

ComfyUi-Untwisting-RoPE:无需训练的 DiT 模型风格迁移插件(支持 Krea2/Flux/Qwen)

核心功能与支持的模型

  • 零样本风格迁移:只需一张参考图,即可将画风(笔触、色调、质感)迁移到新生成的图像中,同时严格保持文字提示的内容,避免“参考复制”现象。
  • 广泛模型支持:
    • Flux 系列:整个 Flux.1 / Flux.2 家族。
    • Qwen 系列:整个 Qwen-Image / Edit 系列。
    • 其他 DiT 模型:Z-image, Z-image turbo, Anima。
    • Krea2:通过自定义包装器支持最新的 Krea2 模型。

安装指南

1. 基础安装

  1. 进入你的 ComfyUI 根目录下的 custom_nodes 文件夹。
  2. 打开命令行终端,运行以下命令克隆仓库:
    git clone https://github.com/BigStationW/ComfyUi-Untwisting-RoPE
    
  3. 重启 ComfyUI。

2. 启用 Krea2 支持(可选但推荐)

由于 Krea2 架构的特殊性,需要额外添加一个模型包装器文件:

  1. 进入 \custom_nodes\ComfyUi-Untwisting-RoPE\models\ 目录。
  2. 创建一个新文件,命名为 krea2.py。
  3. 将开发者提供的 Pastebin 代码内容粘贴到该文件中并保存。
  4. 再次重启 ComfyUI。

关键参数调优技巧

为了获得最佳的风格迁移效果,建议根据以下逻辑调整参数:

参数建议范围/说明影响
Start Block (起始块)7 – 999越低,风格强度越强,但伪影风险越高。大多数风格建议在 7-20 之间尝试。
Prompt Detail (提示词细节)适中提示词越详细,可用于风格迁移的“块数”就越少。过于复杂的提示词可能导致风格渗入产生奇怪伪影。
High Scale Start需微调控制高频成分的初始衰减强度。Krea2 对此值非常敏感。
Low Scale End需微调控制低频成分的最终增强强度。
AdaIN Strength需微调自适应实例归一化强度,影响风格融合的平滑度。
Unofficial Extensions可忽略该部分参数作用较小,且多数会削弱风格效果。若不想复杂调试,可直接删除或忽略该节点。

⚠️ 注意:Krea2 模型对参数变化的敏感度远高于 Flux2 或 Qwen。在切换模型时,请务必重新校准上述关键参数。

未来开发计划

开发者正在积极推进以下功能:

  1. 多图像风格迁移:允许混合多种参考图的风格。目前仍在优化混合算法,以避免产生“浑浊”的效果(类似颜料混成棕色)。策略是通过降低对早期块的影响来减少伪影。
  2. 构图参考 (Composition Reference):目标是实现类似 IPAdapter 的功能,即在保持参考图构图的同时迁移风格。目前图像到图像模式已能初步保持构图,但尚未达到完美的“构图锁定+风格迁移”效果。

使用建议

  • 从简单开始:先使用简单的提示词和清晰的风格参考图进行测试,找到合适的 Start Block 后再增加提示词复杂度。
  • 观察伪影:如果生成图像出现结构崩坏或奇怪的纹理,尝试提高 Start Block 或降低 High Scale Start。
  • 社区交流:由于不同模型的最佳参数差异较大,建议在使用特定模型(尤其是 Krea2)时,参考社区分享的工作流预设。

这个插件为 ComfyUI 用户提供了一个强大且高效的风格迁移方案,特别是对于追求高质量、无训练成本的 Flux 和 Krea2 用户来说,是一个不可多得的利器。

© 版权声明

相关文章