ComfyUI-Kompressor:模型感知的原生检查点压缩工具,支持 INT8/W4A8 ConvRot 量化

插件1个月前发布 小马良
143 0

ComfyUI-Kompressor 是一款专为 ComfyUI 设计的模型感知检查点压缩与实用工具集,可将大型扩散、图像及视频模型转换为原生 INT8 ConvRot 或 W4A8 ConvRot 格式。其核心价值在于无需切换加载器生态——压缩后的检查点仍为标准 .safetensors 文件,可直接通过 ComfyUI 原生 Load Diffusion Model 节点加载。工具具备自动模型检测、故障关闭安全机制及对微调友好的布局复制能力,首批支持 Anima 2B、LTX-2.5 22B、WAN 2.2、Krea 2/Kroma、FLUX.2 Klein、Z-Image、MiniMax H3 及 Qwen Image 2.1 等主流架构。

  • GitHub:https://github.com/a3nu/ComfyUI-Kompressor
  • 同类型插件:https://github.com/RealRebelAI/RebelUI
ComfyUI-Kompressor:模型感知的原生检查点压缩工具,支持 INT8/W4A8 ConvRot 量化

核心节点功能解析

Kompressor(主压缩节点)

  • 将支持的 .safetensors 模型转换为 INT8 ConvRot 或 W4A8 ConvRot
  • 自动识别模型架构并匹配可用策略(Quality / Balanced / Compact / Nano)
  • 对敏感层保留更高精度,避免关键特征丢失
  • 输出标准 ComfyUI 兼容检查点,存放于源模型同目录

⚠️ 注意:并非所有模型暴露全部策略,这是基于架构特性的有意设计,非功能缺失。

Kompressor Copy(量化布局迁移)

  • 仅复制逐层量化配置(非权重),将已知良好的压缩模式应用到兼容的 bf16/fp16 微调模型
  • 支持混合 W4A8/INT8 布局与 ConvRot 组设置
  • 写入前强制校验结构兼容性,防止错误应用

适用场景:同一基础模型的多个 LoRA 或微调变体需统一量化方案时,避免重复转换与参数试错。

Kompressor Inspector(检查点透视)

  • 检测模型架构与变体
  • 显示 INT8/W4A8/源精度层数分布、张量形状、存储格式及量化元数据
  • 便于对比原始、自转换及第三方检查点的内部结构差异

MiniMax H3 专用工具

  • H3 AdaLN Prune:将完整 AdaLN 表示转为 ComfyUI 原生剪枝密集形式,生成独立可加载检查点
  • H3 Hybrid Merge:块级合并兼容 H3 检查点,替换指定范围块并验证表示一致性

INT8 vs W4A8:如何选择量化策略

选项压缩率精度保留适用场景
INT8 ConvRot~2×较高安全首选,对质量敏感的生产环境
W4A8 Quality~3–4×中高平衡体积与质量的起点
W4A8 Balanced/Compact/Nano>4×递减仅当模型明确支持且接受质量权衡时使用

W4A8 模式下,Kompressor 会智能混合量化层级:敏感模块(如注意力头、归一化层)保持 INT8 或源精度,冗余模块采用 W4A8,实现“按需压缩”。建议从 INT8 或 W4A8 Quality 起步,仅在验证效果后探索更激进配置。

系统要求与安装

  • ComfyUI ≥ 0.35.0(含最新 comfy-kitchen)
  • CUDA ≥ 13.0(GPU 加速转换必需)
  • 安装命令:
    cd /path/to/ComfyUI/custom_nodes
    git clone https://github.com/a3nu/ComfyUI-Kompressor.git
    # 重启 ComfyUI,节点位于 model_tools → Kompressor
    

快速上手流程

  1. 添加 Kompressor 节点
  2. 选择待压缩的扩散模型(从 ComfyUI 模型文件夹)
  3. 选择量化类型(INT8 ConvRot / W4A8 ConvRot)
  4. 若模型支持多策略,选择合适的配置文件
  5. 执行转换,新检查点自动生成于源文件旁
  6. 使用 Load Diffusion Model 直接加载压缩后模型
  7. (可选)用 Kompressor Inspector 验证压缩细节

使用边界与注意事项

  • 模型支持有限:仅列出架构经专门适配,未提及模型可能被拒绝(故障关闭)
  • CUDA 13+ 硬性要求:旧版 CUDA 无法执行 GPU 转换,CPU 回退未实现
  • 微调兼容性依赖结构一致:Copy 节点要求目标模型与参考模型层结构完全匹配
  • v1.0.0 为首个公开版:边缘情况可能存在,遇问题请提交 GitHub Issue 并附模型变体与 ComfyUI/后端版本
  • 压缩非无损:即使 INT8 也有轻微精度损失,关键项目务必做 A/B 视觉验证

技术价值:让压缩脱离“黑箱”

Kompressor 的设计哲学是透明可控:

  • 不引入私有格式,坚守 ComfyUI 原生生态
  • 提供 Inspector 使量化决策可审计
  • Copy 节点将经验沉淀为可复用资产
  • 故障关闭优于静默降级,避免产出不可靠模型
© 版权声明

相关文章