QuantUI-rs：纯Rust静态二进制模型量化工具，无Python无Torch，同时支持ComfyUI与GGUF转换

QuantUI-rs 是使用Rust编写的模型量化与转换工具，打包为单文件静态二进制，完全不需要Python、Torch以及额外运行时依赖，专门处理Hugging Face safetensors权重文件，可完成量化、格式转换、分片模型合并，输出ComfyUI可用量化权重或是llama.cpp生态GGUF模型。

• GitHub：https://github.com/wildminder/quantui-rs

核心能力与精度支持

支持丰富的数据类型与量化规格：INT8 / FP8 / MXFP8 / NVFP4 / f16 / bf16 / f32，同时兼容GGUF的q4_k_m、q8_0、q6_k、iq4_xs等主流量化方案。

项目有明确一致性契约：默认路径下输出结果和Python/Torch、llama.cpp参考实现逐字节精确匹配；少数为换取更好质量而牺牲字节一致性的可选模式，会在运行日志parity:行主动标注。

五大核心命令

1. quantize：safetensors转ComfyUI可用量化safetensors，支持INT8、FP8、MXFP8、NVFP4
2. gguf：safetensors转为GGUF，内置34种量化方案，支持张量级单独配方、参考GGUF对齐与校验
3. cast：合并分片HF模型，输出单文件bf16/fp16/fp32 safetensors，不做量化
4. validate：对模型做结构校验，还可开启全量张量数值校验
5. info：读取safetensors头部元数据，无需完整加载张量查看模型信息

全部命令都支持输入单个safetensors文件，或者带索引json的分片HF模型文件夹。

编译与跨平台预编译包

编译仅需要Rust stable ≥1.89，无其他依赖，编译产出剥离符号后的静态程序仅约2.6MB。

官方发布附带多平台预构建二进制，下载直接运行，无需安装：Linux x86_64/ARM64、Windows x86_64、macOS Apple Silicon、macOS Intel。

• Linux采用musl静态链接，不受发行版glibc版本限制；
• macOS二进制未签名公证，首次运行需要在系统隐私设置放行，或者使用xattr清除隔离属性。
  发布包附带SHA256SUMS.txt，可校验文件完整性。

ComfyUI量化使用说明

quantize命令默认输出INT8块缩放量化权重，生成的safetensors自带.comfy_quant元数据。

提供多种量化格式可选：int8、int8_convrot、fp8_e4m3、mxfp8、nvfp4、nvfp4_l2、nvfp4_rot16。

注意：int8_clip09误差极大，仅用于复现测试，不推荐使用；nvfp4_l2属于质量优化模式，不保证逐字节一致；nvfp4_rot16需要推理端做逆旋转，ComfyUI加载器兼容性需要自行验证。

GGUF转换亮点

可以自动读取config.json识别模型架构（Llama、Qwen2/3、Gemma、Phi、LFM2等），自动完成张量命名映射，处理嵌套多模态模型，输出结果具备确定性，多线程并行量化但输出字节稳定不变。

• 支持--recipe-from，直接复用参考GGUF的每层量化方案；
• --verify-against，对比参考GGUF，分类识别各类张量差异；
• iq系列量化必须提供imatrix重要性矩阵，K-quant强烈建议传入imatrix以获得更好质量。

辅助功能与退出码

• cast：合并分片模型，转换精度，原子写入避免文件损坏，溢出会直接报错退出；
• 内置GGUF审计--audit，检查GGUF文件规范合规性，统计各dtype分布；
• 支持bash/zsh/fish/PowerShell的命令行自动补全；
• 定义清晰的退出代码，方便CI自动化流程解析执行结果。

性能对比

在同等硬件下，Rust量化内核、端到端处理速度均优于Python参考实现，大权重文件流式处理吞吐量更高。