Zen Image Edit

135 00

Zen Image Edit 是基于 Qwen-Image-2.1 改造的一体化图像生成模型,更换轻量化 0.8B 文本编码器,一套管线同时支持文生图、角色 / 场景编辑以及 RGBA 透明图像输出。

作者
AiArtLab
基础模型
Qwen-Image-2.1
Zen Image Edit

Zen Image Edit 是一个基于 Qwen-Image-2.1 改造的轻量化图像生成与编辑模型,通过将原生 17.5GB Qwen3-VL-8B 文本编码器替换为 Qwen3.5-0.8B + 158M 适配器,在保持高保真度的同时将峰值显存降至约 17.5GB(启用 CPU offload 后更低)。

Zen Image Edit

该方案支持文本到图像、角色/场景编辑及 RGBA 透明生成,所有功能集成于单一 diffusers 管线。适配器 v12 在真实推理几何下微调,视觉条件余弦相似度从原生 0.93 提升至 0.97,文本保持 0.95;采样器采用静态 shift 5.0(关闭动态 shifting),VAE 保持 fp32 精度。

ComfyUI 用户可通过 recoilme/zen-image-edit-comfyui 仓库直接使用现成工作流与节点,无需加载完整大编码器。

核心技术变更详解

组件原始配置Zen Image Edit 配置关键改进
文本编码器Qwen3-VL-8B (17.5GB)Qwen3.5-0.8B (1.7GB) + 158M 适配器体积减少 90%,自包含于 DiT
适配器无v12 修订版,2304 槽位置表真实几何微调,避免零填充尾部失真
条件对齐—文本余弦 0.95,视觉位置 0.97超越原生编码器视觉对齐(0.93→0.97)
调度器动态 shiftingFlowMatchEulerDiscrete + 静态 shift 5.0简化推理,稳定性提升
精度混合除 VAE 外全 fp16显存优化,VAE 保 fp32 防色偏
分辨率可变默认 1024,跟随条件图宽高比编辑时自动匹配参考图比例

💡 关键洞察:适配器作为 DiT 内部的“文本融合块”存在,使整个模型成为自包含 diffusers 文件夹——任何环节都不再需要加载 17.5GB 编码器。

性能与质量验证

  • 显存占用:常驻 ~17.5GB;enable_model_cpu_offload() 后可在 12–16GB 显卡运行
  • 条件保真度:
    • 纯文本生成:与原生编码器余弦相似度 0.95
    • 图文联合编辑:视觉位置对齐 0.97(原生仅 0.93)
  • RGBA 支持:原生支持透明通道生成,适用于 UI 资产、贴纸、叠加元素
  • 编辑能力:角色一致性、场景替换、局部重绘均通过同一管线完成

ComfyUI 集成指南

仓库 recoilme/zen-image-edit-comfyui 提供开箱即用支持:

  • 工作流文件:workflows/zen-image-edit_ui.json
  • 适配器加载:在加载器节点选择 releases/v1 中的适配器文件
  • 无需额外配置:节点已封装全部预处理与后处理逻辑

适用场景与边界

✅ 强烈推荐:

  • 显存受限设备(RTX 3060/4060 等 12–16GB 卡)
  • 需要频繁切换文本/编辑/RGBA 任务的统一管线
  • ComfyUI 用户追求轻量高效的工作流
  • 角色/IP 一致性编辑(视觉对齐优于原生)
  • 透明素材批量生成(游戏/UI/电商)

相关图书

LumiPic

LumiPic

LumiPic 是一款基于扩散变换器(DiT)的 LoRA 模型,将标准的 SDR(标准动态范围) 图像转换为高保真的 HDR(高动态范围)EXR 文件。
Qwen_Image_4_Grid_Display_Lora

Qwen_Image_4_Grid_Display_Lora

Qwen_Image_4_Grid_Display_LoRA 是一款基于 Qwen-Image 模型微调的 LoRA 适配器,专为生成四格统一视觉风格图像而设计。它能够将一个抽象创意或设计概念,一次性输出为四个在色彩、构图、视角和主题上高度一致的图像,形成一个完整的视觉网格,极大提升设计探索与原型迭代的效率。
Qwen-Image-Edit-2511-Unblur-Upscale

Qwen-Image-Edit-2511-Unblur-Upscale

Qwen-Image-Edit-2511-Unblur-Upscale是一个为 Qwen-Image-Edit-2511 图像到图像模型开发的实验性 LoRA,专门用于从部分模糊的图像中恢复面部特征模式,并将其提升至高分辨率。
Raena-Qwen-Image

Raena-Qwen-Image

Raena-Qwen-Image 是一个为 Qwen-Image 微调的 LoRA,专为动漫风格生成设计。该模型的目标是增强 Qwen-Image 在生成高质量动漫输出的能力,具有更清晰的细节、更丰富的色彩和更好的美学效果。