moss_image_base_dmd2

19 00

moss_image_base_dmd2 是面向 MOSS-Image-Base 的 8 步 LoRA,rank=128,采用分布匹配蒸馏方案。它用 CFG=1 条件下的 8 次前向,替代原基础模型 50 步引导采样,蒸馏信息已经内置在 LoRA 权重里,不需要负面提示词。

作者
data-archetype
基础模型
MOSS-Image
moss_image_base_dmd2

moss_image_base_dmd2 是一款专为 MOSS-Image-Base 模型设计的 8 步低秩适应(LoRA,rank 128)权重。该模型通过分布匹配蒸馏(Distribution Matching Distillation 2, DMD2)技术训练,旨在将基础模型原本需要的 50 步引导推理过程,压缩至仅需 8 次前向传播即可完成,从而大幅降低推理延迟与计算成本。

moss_image_base_dmd2

核心架构与权重机制

  • 分布匹配蒸馏 (DMD2):通过蒸馏技术将复杂的引导过程内化至模型权重中,使得推理时可在 CFG 1(无分类器引导)且无负面提示的条件下,直接生成高质量图像。
  • QKV 融合映射:为适配 ComfyUI 的底层架构,该仓库提供的 ComfyUI 专用 LoRA 文件(moss_image_base_dmd2_bf16.safetensors)将每个 Transformer 块的 Query (q)、Key (k) 和 Value (v) LoRA 权重,打包并映射为 ComfyUI 融合 QKV 投影(fused qkv projection)上的单个等效 LoRA。这与 Diffusers 版本的 PEFT 适配器在数学上完全等效,但优化了 ComfyUI 的执行效率。
  • 广泛的兼容性:该 LoRA 在 MOSS-Image-Base 上训练,但设计为与大多数该模型的微调版本及其他第三方 LoRA 兼容。叠加使用时,建议将其他 LoRA 的强度保持为 1。

采样与推理配置

该 LoRA 专为特定的采样器与调度器组合训练,使用其他采样器会导致生成质量显著下降。必须严格遵循以下配置:

配置项推荐值 / 设置说明
步数 (Steps)8
采样器 (Sampler)LCM (Latent Consistency Model)。机制为:在每一步获取模型的干净估计值,然后使用新噪声重新加噪至下一级。
调度器 (Scheduler)Simple 调度器。需配合流偏移(Shift)值 4.4817 使用。时间步长为 8 个均匀间隔值:1, 7/8, …, 1/8, 0(约等于 1, 0.969, 0.931, 0.882, 0.818, 0.729, 0.599, 0.39)。
CFG Scale1 (无负面提示。引导逻辑已被蒸馏至权重中)。
LoRA 强度1.0
分辨率约 100 万像素(1 Megapixel),支持基础模型兼容的任何宽高比(如 1152 × 896)。

ComfyUI 部署与避坑指南

为确保权重精度不丢失且调度逻辑正确,在 ComfyUI 中部署时需严格遵循以下文件路径与节点选择规范。

1. 模型文件放置路径

文件来源目标目录 (ComfyUI/models/)对应加载节点
loras/moss_image_base_dmd2_bf16.safetensors (本仓库)loras/LoraLoaderBypassModelOnly
moss_image_base_bf16.safetensors (Comfy-Org/MOSS-Image)diffusion_models/Load Diffusion Model
qwen3.5_9b_bf16.safetensors 或其 int8/w4a8 变体text_encoders/Load CLIP (类型选 moss_image)
flux2-vae_small.safetensorsvae/Load VAE

2. 关键节点配置与避坑警告

  • ⚠️ 必须使用旁路加载器 (Bypass Loader):加载本 LoRA 时,必须使用 LoraLoaderBypassModelOnly(或名为 “Load LoRA (Bypass, Model Only)” 的节点),如同官方工作流所示。
    • 原因:标准的 LoRA 加载器会尝试将 LoRA 权重直接合并到 bf16 的基础模型权重中。由于本 LoRA 的权重更新幅度极小(小于 bf16 的舍入步长),直接合并会导致大部分权重更改因精度截断而丢失。旁路加载器则以未合并的方式动态应用权重,保持与 Diffusers PEFT 相同的精度。
  • ⚠️ 必须校准流偏移 (Shift):ComfyUI 默认的 MOSS-Image 偏移值为 5,这与本 LoRA 训练时使用的 4.4817 存在偏差。
    • 正确做法:在工作流中添加 ModelSamplingAuraFlow 或 ModelSamplingFlux 节点,并将其 shift 参数手动设置为 4.4817。
    • 错误做法:绝对不要使用 ModelSamplingSD3 节点。该节点会以不同的方式缩放 MOSS-Image 的时间步(timesteps),直接导致输出完全退化为无意义的噪声。

快速验证与工作流加载

为快速验证部署是否正确,官方提供了嵌入完整 ComfyUI 工作流元数据的示例图像及独立的 JSON 文件:

  1. 拖拽加载:将 images/example_goose.png 或 workflows/moss_image_base_dmd2_8step.json 直接拖入 ComfyUI 浏览器界面。
  2. API 部署:若需通过后端服务调用,可使用 workflows/moss_image_base_dmd2_8step_api.json 中提供的标准 ComfyUI API 格式工作流。

加载后,检查工作流是否已自动配置好 LCM 采样器、Simple 调度器、8 步、CFG 1 以及正确的 ModelSamplingAuraFlow 偏移节点。确认无误后,即可执行推理,体验 8 步极速生成的效果。详细的训练超参数与损失函数设计,请参阅仓库内的 TECH_REPORT.md。

相关图书

MOSS-Image CharRef

MOSS-Image CharRef

CharRef v2 是MOSS-Image生态里实用性很强的角色固定方案,依托KV缓存参考编辑路线,省去逐个角色微调LoRA的成本,非常适合漫画、二次元角色跨场景生成;短板集中在写实人脸、精细发型、单参考限制。
MOSS-Image i2i LoRAs

MOSS-Image i2i LoRAs

这套 MOSS-Image i2i LoRA 为 ComfyUI 打造,包含漫画上色、去文字水印、去马赛克三个独立 LoRA;依托 VAE 潜参考图生图,上色版本数据集充足效果更好,去文字、去遮挡版本训练样本偏少。
MOSS-Image-SFT-4-steps

MOSS-Image-SFT-4-steps

MOSS-Image-SFT-4-steps v2.0 完成重大改版,精简为单个 LoRA 文件,原生适配标准 Euler 采样器,无需额外自定义组件。它支持 4 步快速出图,中英文字、数字保真度在同类型少步模型中表现突出,最高支持 2048×2048 无平铺生成。
MOSS-Image-EntroPack

MOSS-Image-EntroPack

阿里DiffSynth-Studio项目组放出MOSS-Image(Base、SFT版本)的EntroPack预量化权重,基于EntroPack熵编码方案从原版BF16权重转换而来,最低仅需4GB显存就能跑,可在DiffSynth-Studio、DiffSynth-ComfyUI加载使用。