MiniMax-H3-Image pDMD 2-Step LoRA

24 00

社区开发者 akhaliq 推出了 pDMD 2-NFE LoRA。该方案通过引入概率分布蒸馏匹配(pDMD)技术,将原本固定为 6 步的去噪过程压缩至 2 次去噪评估(NFE),在保持原生 4096×4096(16 MP)分辨率的同时,显著提升了推理速度。

作者
akhaliq
基础模型
MiniMax-H3-Image
MiniMax-H3-Image pDMD 2-Step LoRA

针对 MiniMaxAI 发布的 33.1B 参数图像 Transformer 模型 MiniMax-H3-Image,社区开发者 akhaliq 推出了 pDMD 2-NFE LoRA。该方案通过引入概率分布蒸馏匹配(pDMD)技术,将原本固定为 6 步的去噪过程压缩至 2 次去噪评估(NFE),在保持原生 4096×4096(16 MP)分辨率的同时,显著提升了推理速度。

MiniMax-H3-Image pDMD 2-Step LoRA

核心技术原理

官方 MiniMax-H3-Image 检查点经过步数蒸馏,其调度器被硬编码为固定的 6 步 PDD 流程。若强行减少步数,模型仍处于去噪中途,导致图像模糊、对比度低且细节缺失。

pDMD 2-NFE LoRA(基于 arXiv 2609.35768)通过以下方式解决这一问题:

  • 架构覆盖:Rank 128 的 LoRA 覆盖了模型所有 50 个块的注意力机制与前馈神经网络(FFN)。
  • 流匹配网格:在普通流匹配网格上运行,无需 Classifier-Free Guidance (CFG),提示词按原样输入。
  • 即时转换:支持将官方检查点即时转换为 diffusers 布局,或直接使用预合并的检查点。

性能基准与速度对比

在单块 NVIDIA H200 GPU(bf16, FA3)环境下,生成一张 4096×4096 图像的性能表现如下:

模式步骤/评估次数耗时 (秒)相对速度备注
官方原生6 步 PDD~25.1s1.0x固定调度,无法减少步数
pDMD 2-Step2 NFE~17.4s1.4x构图完整,细节清晰
2-Step + IC Refine2 + 8 步精炼~50.0s0.5x包含上下文内精炼,质量最高

注:在交互尺寸(如 2048×2048)下,配合 FP8 量化与 Triton 构建,2 步生成加轻量级细节通道仅需约 4.6 秒,优于官方 Space 的 7 秒。

ComfyUI 部署指南

该方案已在最新 ComfyUI master (2026-11-10) 上完成端到端验证,支持两种主要部署路径。

选项 A:预合并检查点(推荐,最简单)

使用 minimax_h3_image_pdmd_2step_bf16.safetensors(40 GB),该文件已将 pDMD LoRA 预合并至 Comfy-Org 剪枝版的 bf16 检查点中。

  1. 文件准备:
    • 下载预合并检查点至 ComfyUI/models/diffusion_models/。
    • 配置文本编码器(Qwen3VL-32B int8 或 nvfp4)及 VAE。
  2. 工作流接线:
    • Load Diffusion Model → MiniMaxH3SigmaShift (shift_video: 12, shift_audio: 3) → Basic Guider。
    • Load CLIP (type: minimax) → CLIP Text Encode (仅正向)。
    • EmptyHunyuanLatentVideo (设置目标分辨率,H3 图像潜在视为 1 帧视频潜在)。
    • SamplerCustomAdvanced:
      • Noise: RandomNoise
      • Sampler: euler
      • Scheduler: simple
      • Steps: 2
      • Denoise: 1.0
    • VAE Decode → Save Image。

选项 B:基础模型 + LoRA 节点

适用于已拥有 Comfy-Org 基础检查点的用户,或需要使用 int8_convrot/w4a8 量化权重的场景。

  1. 下载 LoRA:获取 minimax_h3_pdmd_2nfe_comfyui.safetensors (2 GB) 并放置于 ComfyUI/models/loras。
  2. 插入节点:在 Load Diffusion Model 和 Sigma Shift 节点之间插入 LoraLoaderModelOnly。
  3. 参数设置:LoRA 强度设为 1.0。其他任何值都会缩放蒸馏增量,影响生成效果。

细节增强通道(Detail Pass)

为了在 2 步生成的基础上进一步提升微细节(如毛皮、岩石纹理、文字清晰度),可采用“草稿+重新生成”的细节通道方案。

轻量级方案(适用于大多数场景)

  1. 草稿生成:以半尺寸运行 2 步管道。
  2. 像素放大:使用 Lanczos 算法将草稿放大至最终尺寸。
  3. VAE 编码与重采样:
    • 对放大后的像素进行 VAE Encode。
    • 进行第二次采样:3 步,Denoise 设为 $\sigma_0$。
    • $\sigma_0$ 调节:
      • 0.4–0.55:保持源构图,锐化纹理,适合编辑场景。
      • 0.7:增加更多细节,但可能在平坦区域产生斑点或导致面部漂移。

重量级方案:Open-H3-Regenerate-2K-IC

使用官方 Transformer 的第二副本,携带 HyperFlow 8 步 + LMS Sharp + IC LoRA。

  • 原理:将 2 步草稿作为参考行保留在 Transformer 上下文中,从 $(1-\sigma_0) \cdot \text{latent}(\text{草稿}) + \sigma_0 \cdot \text{noise}$ 开始重新生成。
  • 性能:单张 16 MP 图像约需 35 秒,峰值显存 95 GB。
  • 适用场景:对微细节有极致要求,且能接受较慢速度的场景。

Diffusers 原生调用

对于不使用 ComfyUI 的开发者,可通过 diffusers 库直接加载。

  1. 模型加载:
    • 使用 lora_model_0.safetensors(diffusers 布局键)。
    • 加载 MiniMaxH3Transformer3DModel,可通过 from_pretrained 加载本仓库预转换的 transformer/ 目录,避免即时转换开销。
  2. LoRA 合并:
    # 伪代码示例
    transformer = MiniMaxH3Transformer3DModel.from_pretrained(...)
    transformer.load_lora_weights("lora_model_0.safetensors")
    transformer.merge_lora()
    
  3. 采样配置:
    • scheduler.set_shift(12.0)
    • scheduler.set_timesteps(3) (N 次评估对应 N+1 个网格点)
    • 传递 sigmas=scheduler.sigmas
    • 禁用 CFG,不提供负面提示。

提示词工程建议

MiniMax-H3-Image 对长而完整的视觉描述响应最佳。

  • T2I 生成:提供完整的场景描述,包括光影、材质、构图等细节。
  • 图像编辑:遵循“保留 → 更改 → 描述目标”的结构。
  • 工具辅助:可使用 MiniMax 官方的 h3-image-prompt-writing 技能或 MiniMax-H3-Image-PE 本地扩展短提示词。

常见问题与注意事项

  • 实时预览:在 ZeroGPU 环境下,2 步生成可实现约 1 MP 的实时预览(每帧 1–1.5 秒),这是原生 6 步模型无法做到的。
  • 斑点问题:在使用 $\sigma_0 = 0.835$ 的重量级精炼时,平坦干净区域(如工作室背景)可能出现 invented 微纹理。建议降至 $\sigma_0 = 0.5–0.7$ 或跳过该通道。
  • 音频权重:官方图像检查点不包含音频权重,未使用的音频分支张量为零,不影响图像生成。

相关图书

H3-Latent-Upscaler-2x

H3-Latent-Upscaler-2x

在处理 MiniMax H3 视频时,传统的放大流程是“VAE 解码 → 像素缩放 → VAE 重编码”,这不仅耗时,还会引入额外的画质损失。H3-Latent-Upscaler-2x 提供了一种纯隐空间的解决方案,它能直接将干净的视频隐空间映射到 2 倍大的空间网格上,全程不触碰像素域。
MiniMaxImage_hdr_diffusers_vae

新MiniMaxImage_hdr_diffusers_vae

社区发布了第三方开发的 MiniMaxImage_hdr_diffusers_vae(简称 HDR VAE)。该变分自编码器(VAE)并非官方原生组件,而是专为优化 MiniMax-H3 的重建与增强工作流而设计。
MiniMax-H3-Character-Swap-LoRA

MiniMax-H3-Character-Swap-LoRA

面向MiniMax H3视频模型的专用角色替换LoRA,依托H3 Relay 2.0在ComfyUI搭建端到端工作流,实现“参考图换脸/换角色,保留原视频表演动作”。项目尚在实验阶段,适合短镜头创作,长视频、复杂遮挡场景存在不稳定问题。
H3 Keyframe Animation

H3 Keyframe Animation

Alvdansen Labs推出 H3 Keyframe Animation,为MiniMax H3视频模型打造三套专用LoRA,这套LoRA的核心目标,是让模型按照传统手绘动画师的思路生成动画,产出稳定统一的运动节奏,不再出现基础模型常见的矢量插值、数字缓动带来的画面漂移。