ComfyUI DiffSynth Studio Wrapper:在 ComfyUI 中调用 Z-Image I2L 实现图像到 LoRA 的实时转换

插件8小时前发布 小马良
7 0

ComfyUI DiffSynth Studio Wrapper 是一个轻量级自定义节点封装器,旨在将 DiffSynth-Studio 的 Z-Image I2L(Image-to-LoRA)功能无缝集成到 ComfyUI 工作流中。通过该工具,用户可直接从参考图像生成临时 LoRA,并立即用于新图像的采样,无需外部训练或模型微调。

ComfyUI DiffSynth Studio Wrapper:在 ComfyUI 中调用 Z-Image I2L 实现图像到 LoRA 的实时转换

⚠️ 注意:该项目由开发者个人维护,按“现状”提供,不承诺长期更新或主动支持

核心功能

  • 加载 Z-Image 模型:支持本地模型加载与自动下载
  • 图像转 LoRA:最多输入 10 张参考图,实时生成风格/角色 LoRA
  • 即时采样:将生成的 LoRA 直接用于图像生成,保持视觉一致性
  • LoRA 保存:可导出 .safetensors 文件,便于后续复用

安装步骤

# 1. 克隆仓库
cd ComfyUI/custom_nodes/
git clone https://github.com/quinteroac/ComfyUI_DSS_Wrapper.git

# 2. 安装依赖
cd ComfyUI_DSS_Wrapper
pip install -r requirements.txt

重启 ComfyUI 后,新节点将自动加载。

模型路径配置

默认模型存储路径:
ComfyUI/models/diffsynth

自定义路径(推荐):
设置环境变量 DIFFSYNTH_MODEL_BASE_PATH,例如:

# Linux/macOS
export DIFFSYNTH_MODEL_BASE_PATH=/your/custom/model/path

# Windows (PowerShell)
$env:DIFFSYNTH_MODEL_BASE_PATH = "D:\models\diffsynth"

✅ 优先级:环境变量 > 节点输入。若已设置环境变量,节点中的“模型路径”字段将被忽略。

节点说明

1. Z-Image 加载器(Z-Image Loader)

  • 模型路径:模型所在目录(受环境变量覆盖)
  • 精度选项
    • bf16(推荐):平衡速度与显存占用
    • fp32:高精度,但显存消耗显著增加
    • ❌ 不支持 fp16(底层库兼容性限制)

2. Z-Image I2L(图像转 LoRA)

  • 接受 1–10 张图像作为输入
  • 输出为临时 LoRA 表示,供采样器直接使用
  • 适用于角色一致性、艺术风格迁移等场景

3. Z-Image 采样器(Sampler)

  • 提示词 / 负向提示词:标准文本输入
  • Sigma Shift:调节噪声调度偏移,影响生成细节
  • LoRA 输入:连接自 I2L 节点

4. Z-Image LoRA 保存器

  • 将生成的 LoRA 保存为 .safetensors 文件
  • 文件名前缀:自定义输出文件名
  • 保存路径:ComfyUI 默认输出目录
  • 用途:避免重复计算 I2L 步骤,提升工作流效率

典型工作流

  1. 使用 Z-Image 加载器 加载模型
  2. 传入参考图像至 Z-Image I2L 节点
  3. 将生成的 LoRA 连接到 Z-Image 采样器
  4. (可选)通过 LoRA 保存器 导出权重,供其他流程复用

适用场景

  • 角色一致性生成:基于多张人物图生成统一风格的新图像
  • 艺术风格迁移:将特定画风(如赛博朋克、水彩)注入新内容
  • 快速原型验证:无需训练即可测试 LoRA 效果
© 版权声明

相关文章

暂无评论

none
暂无评论...