针对 MiniMaxAI 发布的 33.1B 参数图像 Transformer 模型 MiniMax-H3-Image,社区开发者 akhaliq 推出了 pDMD 2-NFE LoRA。该方案通过引入概率分布蒸馏匹配(pDMD)技术,将原本固定为 6 步的去噪过程压缩至 2 次去噪评估(NFE),在保持原生 4096×4096(16 MP)分辨率的同时,显著提升了推理速度。

核心技术原理
官方 MiniMax-H3-Image 检查点经过步数蒸馏,其调度器被硬编码为固定的 6 步 PDD 流程。若强行减少步数,模型仍处于去噪中途,导致图像模糊、对比度低且细节缺失。
pDMD 2-NFE LoRA(基于 arXiv 2609.35768)通过以下方式解决这一问题:
- 架构覆盖:Rank 128 的 LoRA 覆盖了模型所有 50 个块的注意力机制与前馈神经网络(FFN)。
- 流匹配网格:在普通流匹配网格上运行,无需 Classifier-Free Guidance (CFG),提示词按原样输入。
- 即时转换:支持将官方检查点即时转换为 diffusers 布局,或直接使用预合并的检查点。
性能基准与速度对比
在单块 NVIDIA H200 GPU(bf16, FA3)环境下,生成一张 4096×4096 图像的性能表现如下:
| 模式 | 步骤/评估次数 | 耗时 (秒) | 相对速度 | 备注 |
|---|---|---|---|---|
| 官方原生 | 6 步 PDD | ~25.1s | 1.0x | 固定调度,无法减少步数 |
| pDMD 2-Step | 2 NFE | ~17.4s | 1.4x | 构图完整,细节清晰 |
| 2-Step + IC Refine | 2 + 8 步精炼 | ~50.0s | 0.5x | 包含上下文内精炼,质量最高 |
注:在交互尺寸(如 2048×2048)下,配合 FP8 量化与 Triton 构建,2 步生成加轻量级细节通道仅需约 4.6 秒,优于官方 Space 的 7 秒。
ComfyUI 部署指南
该方案已在最新 ComfyUI master (2026-11-10) 上完成端到端验证,支持两种主要部署路径。
选项 A:预合并检查点(推荐,最简单)
使用 minimax_h3_image_pdmd_2step_bf16.safetensors(40 GB),该文件已将 pDMD LoRA 预合并至 Comfy-Org 剪枝版的 bf16 检查点中。
- 文件准备:
- 下载预合并检查点至
ComfyUI/models/diffusion_models/。 - 配置文本编码器(Qwen3VL-32B int8 或 nvfp4)及 VAE。
- 下载预合并检查点至
- 工作流接线:
- Load Diffusion Model → MiniMaxH3SigmaShift (shift_video: 12, shift_audio: 3) → Basic Guider。
- Load CLIP (type: minimax) → CLIP Text Encode (仅正向)。
- EmptyHunyuanLatentVideo (设置目标分辨率,H3 图像潜在视为 1 帧视频潜在)。
- SamplerCustomAdvanced:
- Noise: RandomNoise
- Sampler: euler
- Scheduler: simple
- Steps: 2
- Denoise: 1.0
- VAE Decode → Save Image。
选项 B:基础模型 + LoRA 节点
适用于已拥有 Comfy-Org 基础检查点的用户,或需要使用 int8_convrot/w4a8 量化权重的场景。
- 下载 LoRA:获取
minimax_h3_pdmd_2nfe_comfyui.safetensors(2 GB) 并放置于ComfyUI/models/loras。 - 插入节点:在 Load Diffusion Model 和 Sigma Shift 节点之间插入 LoraLoaderModelOnly。
- 参数设置:LoRA 强度设为 1.0。其他任何值都会缩放蒸馏增量,影响生成效果。
细节增强通道(Detail Pass)
为了在 2 步生成的基础上进一步提升微细节(如毛皮、岩石纹理、文字清晰度),可采用“草稿+重新生成”的细节通道方案。
轻量级方案(适用于大多数场景)
- 草稿生成:以半尺寸运行 2 步管道。
- 像素放大:使用 Lanczos 算法将草稿放大至最终尺寸。
- VAE 编码与重采样:
- 对放大后的像素进行 VAE Encode。
- 进行第二次采样:3 步,Denoise 设为 $\sigma_0$。
- $\sigma_0$ 调节:
- 0.4–0.55:保持源构图,锐化纹理,适合编辑场景。
- 0.7:增加更多细节,但可能在平坦区域产生斑点或导致面部漂移。
重量级方案:Open-H3-Regenerate-2K-IC
使用官方 Transformer 的第二副本,携带 HyperFlow 8 步 + LMS Sharp + IC LoRA。
- 原理:将 2 步草稿作为参考行保留在 Transformer 上下文中,从 $(1-\sigma_0) \cdot \text{latent}(\text{草稿}) + \sigma_0 \cdot \text{noise}$ 开始重新生成。
- 性能:单张 16 MP 图像约需 35 秒,峰值显存 95 GB。
- 适用场景:对微细节有极致要求,且能接受较慢速度的场景。
Diffusers 原生调用
对于不使用 ComfyUI 的开发者,可通过 diffusers 库直接加载。
- 模型加载:
- 使用
lora_model_0.safetensors(diffusers 布局键)。 - 加载
MiniMaxH3Transformer3DModel,可通过from_pretrained加载本仓库预转换的transformer/目录,避免即时转换开销。
- 使用
- LoRA 合并:
# 伪代码示例 transformer = MiniMaxH3Transformer3DModel.from_pretrained(...) transformer.load_lora_weights("lora_model_0.safetensors") transformer.merge_lora() - 采样配置:
scheduler.set_shift(12.0)scheduler.set_timesteps(3)(N 次评估对应 N+1 个网格点)- 传递
sigmas=scheduler.sigmas - 禁用 CFG,不提供负面提示。
提示词工程建议
MiniMax-H3-Image 对长而完整的视觉描述响应最佳。
- T2I 生成:提供完整的场景描述,包括光影、材质、构图等细节。
- 图像编辑:遵循“保留 → 更改 → 描述目标”的结构。
- 工具辅助:可使用 MiniMax 官方的
h3-image-prompt-writing技能或MiniMax-H3-Image-PE本地扩展短提示词。
常见问题与注意事项
- 实时预览:在 ZeroGPU 环境下,2 步生成可实现约 1 MP 的实时预览(每帧 1–1.5 秒),这是原生 6 步模型无法做到的。
- 斑点问题:在使用 $\sigma_0 = 0.835$ 的重量级精炼时,平坦干净区域(如工作室背景)可能出现 invented 微纹理。建议降至 $\sigma_0 = 0.5–0.7$ 或跳过该通道。
- 音频权重:官方图像检查点不包含音频权重,未使用的音频分支张量为零,不影响图像生成。














