近期Shakker Labs发布了FLUX.1-dev-ControlNet-Union-Pro-2.0,但原版模型对于显存要求过高,于是就有开发者推出了FP8 量化版本。这不是一个经过微调的模型,而是对原始 BFloat16 模型直接量化为 FP8 格式,以优化推理性能。
- Hugging Face地址:https://huggingface.co/ABDALLALSWAITI/FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8
- Civitai地址:https://civitai.com/models/1488208
- 网盘下载:https://www.123865.com/s/hyQyTd-G9HDv 提取码:LM58

量化详情
该模型已从原始 BFloat16 格式量化为 FP8 格式,使用 PyTorch 的原生 FP8 支持。以下是具体细节:
- 量化技术:原生 FP8 量化
- 精度:E4M3 格式(4 位指数,3 位尾数)
- 使用的库:PyTorch 内置 FP8 支持
- 数据类型:torch.float8_e4m3fn
- 原始模型:BFloat16 格式(Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0)
- 模型大小缩减:比原始模型小约 50%
FP8 量化的优势包括:
- 减少内存使用:模型大小比 BFloat16/FP16 小约 50%
- 更快的推理:在支持 FP8 的硬件上可能提升速度
- 最小的质量损失:经过仔细校准的量化过程以保留输出质量
重要说明:这是对 Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0 的直接量化,保留了原始模型的所有功能,未进行微调或额外训练。
关键说明
与 Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro 相比:
- 移除模式嵌入,模型大小更小。
- 在 Canny 和姿势控制上有所改进,提供更好的控制和美学效果。
- 增加对软边缘的支持,移除对瓦片(tile)的支持。
模型卡片
- 架构:此 ControlNet 包含 6 个双块和 0 个单块,模式嵌入已被移除。
- 训练细节:
- 使用包含 2000 万张高质量通用和人体图像的数据集,从头训练 30 万步。
- 训练分辨率:512x512,格式为 BFloat16。
- 批次大小:128。
- 学习率:2e-5。
- 引导尺度:从 [1, 7] 中均匀采样。
- 文本丢弃比率:0.20。
- 支持的控制模式:包括 Canny、软边缘、深度、姿势、灰度。您可以像使用普通 ControlNet 一样使用它。
- 联合使用:此模型可与其他 ControlNet 联合使用。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...