MOSS-Image-Edit-HQ

106 00

MOSS-Image-Edit-HQ armV4 是 MOSS-Image-SFT 社区图像编辑 LoRA,依靠掩码损失解决旧版全局色彩漂移问题,面部编辑明显变强;同时提供原生 ComfyUI 和插件两种接入格式,适合做局部改写、光影重绘,但显存开销较高,不兼容 Base 系列模型。

作者
akhaliq
基础模型
MOSS-Image
MOSS-Image-Edit-HQ

MOSS-Image-Edit-HQ 更新到 armV4,基于 MOSS-Image-SFT 训练,属于非官方社区项目,目标对标 chinoll/Moss-Image-Edit;本次版本核心新增掩码损失、保留契约机制,解决v3版本存在整图色彩、饱和度漂移问题,强化面部编辑效果。

MOSS-Image-Edit-HQ

数据集合计4644条样本,覆盖移除、面部修改、环境风格改写三大类编辑任务,搭配编辑掩码与 inverted_mask_prior 机制,未被编辑区域可以稳住原图色彩,减少全局跑偏。在同一批对照测试集中,armV4 在全部样例上持平或优于 chinoll 方案,补齐v3面部编辑短板。

权重文件两种格式

  1. armV4.safetensors:ai-toolkit PEFT格式,适配新版ComfyUI原生MOSS-Image Edit支持(PR #17296),直接丢进 loras 目录;
  2. armV4-moss-edit-lora.safetensors:插件专用 moss-edit-lora 格式,给 Chenkin-x 的 ComfyUI-Moss-Image-Edit 节点加载,放到 model_patches。

ComfyUI 两套使用方案

✅ 方案A(原生支持,推荐)

ComfyUI 更新至 0.42.1+(nightly/master),内置MOSS-Image Edit模板;使用 Text Encode MOSS-Image Edit 节点,edit_format 设置为 ai-toolkit,参考图会自动缩放到≤384×384。推荐参数:Euler、50步、CFG=3、SLG层22。

✅ 方案B(第三方插件)

安装 ComfyUI-Moss-Image-Edit,ComfyUI版本≥0.42.3;提供单参考、最多4图多参考两套现成工作流。推荐采样 shift 5.0,CFG 3.0,编辑力度不足时上调至3.5~4。

版本迭代路线

  • v1:身份保留能力弱,被chinoll拉开差距
  • v2(armV2-lo):OmniEdit数据集,后续被v3替代
  • v3(armV3):ConceptEdit-12M过滤数据集,6000条样本,存在饱和度漂移缺陷
  • v4(armV4):增加掩码损失约束,锁定非编辑区域像素,面部编辑能力补齐,当前首选版本

重要限制与FAQ

  • 显存门槛高:BF16完整运行大约需要20GB以上显存,6G显存无法跑通;INT8/ConvRot量化版本可以降低显存,但不在官方验证范围内
  • 训练基座固定为 MOSS-Image-SFT,MOSS-Image-Base、Kromoss 兼容性未验证
  • 强项:局部修改、光影重调、曝光修复,在不改动主体人物的前提下更换环境光照效果很好

训练与转换细节

训练脚本基于 ostris/ai-toolkit,文本编码器全程冻结;chinoll 和本项目的LoRA权重存储结构不一样,仓库附带双向转换脚本,支持 qkv 融合/拆分互转。训练时过滤大幅度改动样本,只保留局部编辑,环境风格类全局调色任务单独放行。

相关图书

MOSS-Image i2i LoRAs

MOSS-Image i2i LoRAs

这套 MOSS-Image i2i LoRA 为 ComfyUI 打造,包含漫画上色、去文字水印、去马赛克三个独立 LoRA;依托 VAE 潜参考图生图,上色版本数据集充足效果更好,去文字、去遮挡版本训练样本偏少。
MOSS-Image-EntroPack

MOSS-Image-EntroPack

阿里DiffSynth-Studio项目组放出MOSS-Image(Base、SFT版本)的EntroPack预量化权重,基于EntroPack熵编码方案从原版BF16权重转换而来,最低仅需4GB显存就能跑,可在DiffSynth-Studio、DiffSynth-ComfyUI加载使用。
moss_image_base_dmd2

moss_image_base_dmd2

moss_image_base_dmd2 是面向 MOSS-Image-Base 的 8 步 LoRA,rank=128,采用分布匹配蒸馏方案。它用 CFG=1 条件下的 8 次前向,替代原基础模型 50 步引导采样,蒸馏信息已经内置在 LoRA 权重里,不需要负面提示词。
MOSS-Image CharRef

MOSS-Image CharRef

CharRef v2 是MOSS-Image生态里实用性很强的角色固定方案,依托KV缓存参考编辑路线,省去逐个角色微调LoRA的成本,非常适合漫画、二次元角色跨场景生成;短板集中在写实人脸、精细发型、单参考限制。