Rebels W4A8 Collection

Rebels W4A8 是一套专为 ComfyUI 优化的扩散与视频模型量化合集，采用 W4A8（4-bit权重 + 8-bit运算） 格式，实现约 0.56字节/参数 的存储与计算密度。其核心优势在于利用 ComfyUI 原生 asym_w4a8_int8 路径，由 int8 张量核心直接执行矩阵乘法，无需反量化回fp16，区别于GGUF等仅压缩存储但运行时解压的方案。

转换基于Kijai的AsymW4A8Int8Layout，叠加ConvRot Hadamard旋转、Lloyd-Max非均匀码本、每组fp8缩放三层技术，且无需校准数据集，避免提示词偏向。敏感层（时间步嵌入、条件投影等）强制保持F16/F32精度；输入维度非256整除的层自动降级为int8_tensorwise（~1%误差）。要求ComfyUI ≥0.30.0 + comfy-kitchen内核 + Ampere及以上NVIDIA GPU（sm_80+）。使用标准Load Diffusion Model节点加载，无需自定义节点。

核心技术：为何W4A8优于GGUF用于生成模型

计算路径本质差异

关键洞察：GGUF的“小文件”不等于“快计算”——每次前向传播仍需解压权重至fp16再计算，内存带宽瓶颈未解。W4A8将计算全程保持在int8域，充分利用Tensor Core吞吐量，文件大小与运行速度同步优化。

量化策略：精度保护与格式自适应

三层量化增强

1. ConvRot Hadamard旋转：展平权重离群值，使4-bit表示更高效
2. Lloyd-Max码本：16级非均匀量化层级拟合实际权重分布，优于均匀网格
3. 每组fp8缩放：每16个权重共享一个fp8缩放因子，保留局部动态范围

精度保护机制

• 敏感层豁免：时间步嵌入、条件投影、块投影、最终输出层、旋转表强制F16/F32
  • 原因：少步模型的时间步嵌入仅需区分少数sigma值，4-bit会破坏调度精度
  • 验证：每个文件转换后检查确认这些层未被量化
• 混合格式兜底：输入维度不能被256整除的层无法使用融合W4A8内核 → 自动降级为int8_tensorwise（无组约束，误差~1%）
  • 透明披露：每个模型卡片明确列出哪些层采用该路径
• 零校准设计：无需激活数据集，转换过程不引入提示词偏向，保持模型原始语义空间

质量保证流程

• 每个文件转换后测量相对于原始bf16的逐层重建误差
• 未达预期精度的文件不予发布
• 实测整体relL2误差~7%，在生成质量可接受范围内

部署与使用规范

系统要求

• ComfyUI ≥ 0.30.0（原生支持asym_w4a8_int8）
• comfy-kitchen已安装（提供int8内核）
• NVIDIA GPU：Ampere或更新架构（sm_80+，含int8 Tensor Core）
• 启动时检查日志：Native ops列表中需出现asym_w4a8_int8；若在emulated下则无速度优势

使用步骤

1. 将.safetensors放入ComfyUI/models/diffusion_models/
2. 使用标准Load Diffusion Model节点加载（无需自定义加载器）
3. 文本编码器、VAE、采样器设置与基础模型完全一致
4. 严格遵守模型卡片中的步数/CFG/分辨率要求（尤其蒸馏模型有固定调度）

⚠️ 关键警告：蒸馏模型的固定调度不可更改，即使量化版本也必须遵守；使用基础模型设置会导致严重质量下降，与量化无关。

模型合集状态与获取

• 合集持续更新中，每个模型独立仓库
• 每个仓库包含：精确文件大小、实测重建误差、高精度层列表、推荐生成参数
• 当前已转换模型详见各子仓库（文档未列具体模型名，需查阅项目页面）

vs 其他量化方案选择