MiniMax H3 基础模型在低分辨率下生成视频草稿具有成本优势,但其官方的 2K 分辨率重绘模型(H3-Regenerate-2K)仅以托管 API 形式提供,未开放模型权重。这导致开源社区无法在本地 GPU 上运行、适配或扩展该高分辨率生成能力。

英伟达 Sana 团队推出 Open-H3-Regenerate-2K,作为该闭源 API 的开源替代品,通过引入精炼器 LoRA 与潜在空间上采样技术,实现了从低分辨率草稿(如 384P、512P、576P 或 768P)到原生 2K(2560×1440)甚至 4K(3840×2160)视频的高效重绘。
- GitHub:https://github.com/NVlabs/Sana/tree/sol-engine/models/Open-H3-Regenerate-2K
- Lora:https://huggingface.co/Efficient-Large-Model/Open-H3-Regenerate-2K-LoRA
该方案在保持草稿原有内容与运动轨迹的前提下,通过三步扩散过程显著提升了面部、织物、毛皮和植被等细节的全尺寸表现。
Sana 团队发布了一个改进版本,一致性大大提高。IC版本将低分辨率草稿保持在上下文中,因此人脸、唇同步、文字和布局保持忠实,同时生成高分辨率细节。
- 🔌 MiniMax H3即插即用:只需加载LoRA
- ⚙️ 灵活的3 / 4 / 8步推理,根据你的计算预算平衡速度和质量
- 🎬 2K / 4K输出,以及384P → 768P放大
- 模型:https://huggingface.co/Efficient-Large-Model/Open-H3-Regenerate-2K-IC
核心工作流:从低分辨率草稿到高分辨率
Open-H3-Regenerate-2K 的核心逻辑是“冻结主干,局部精炼”。其处理流程分为四个标准化步骤,避免了传统像素级缩放带来的高昂计算成本:
- 编码 (Encoding):使用 H3 视频 VAE 对输入的低分辨率草稿进行一次编码,提取潜在特征(Latent)。
- 放大 (Upscaling):引入社区模型
H3-Latent-Upscaler,通过学习的 3D 卷积网络,直接将潜在特征映射到目标分辨率网格(例如从 36×64 放大至 90×160),无需经历“解码为像素→调整尺寸→重新编码”的耗时往返过程。 - 重新生成 (Regeneration):将放大后的潜在特征重新加噪至 $\sigma = 0.909$,随后在三个 Euler 步骤中进行降噪(噪声调度为 $0.909 \rightarrow 0.857 \rightarrow 0.667 \rightarrow 0$)。此阶段关闭无分类器引导(CFG),确保每一步仅为目标分辨率下的一次 Transformer 调用。
- 解码 (Decoding):使用 H3 VAE 解码器将精炼后的潜在特征还原为视频帧。快速路径可采用
StreamRender-H3的 24 层快速解码器以进一步压缩时间。
注:单纯的空间放大无法增加细节,它仅将布局、颜色和运动映射到更大的网格;真正的表面细节绘制由随后的三个扩散步骤完成。
关键技术与训练策略
1. 训练配方
模型训练遵循 SoL-Refiner 的 Stage I(高分辨率持续训练)配方。训练数据由 1280×704 或 2560×1440 的真实高质量片段及其退化副本(经抗锯齿双线性滤波器缩小 8× 至 64× 后恢复)构成。训练过程中,H3 Transformer 和视频 VAE 保持完全冻结,仅对精炼器 LoRA(rank 384,5000 步 EMA)进行训练,使用从 $\sigma = 0.91$ 下降的噪声水平上的流匹配速度损失。
2. 组件合并与少步推理
为追求极致推理速度,该方案整合了多项社区优化成果。精炼器 LoRA 在推理时与 LightX2V 的 FL2VA Turbo(使 H3 在四步内生成的 LoRA)以及 Alissonerdx 的 LMS Sharp 适配器合并为单一 LoRA 权重。由于草稿已具备固定的布局和运动,三步降噪足以完成细节重建。
3. 推理性能优化
在单块英伟达B200 GPU 上,处理从 1344×768 放大至 2560×1440 的潜在特征、执行三个精炼步骤及 VAE 解码,未优化时耗时 87.26 秒。通过引入以下优化,总耗时降至 22.45 秒(加速 3.9 倍):
- SoL-Engine:采用 Sol-Attn 稀疏注意力机制(节省 39.99 秒)、带融合 SwiGLU 量化器的 MXFP8 线性层,以及每步 CUDA 图。
- StreamRender-H3:使用剪枝至 24 层并经过蒸馏的快速 H3 VAE 解码器,将解码时间从 15.0 秒大幅削减至 1.6 秒。
性能评估与实验数据
在 RefinerBench-150 基准测试(涵盖日常场景、运动、动物、车辆、风景、肖像和快速相机运动的 150 个视频)中,Open-H3-Regenerate-2K 与官方 API 进行了同输入、同输出(2560×1440)的严格对比:
- VBench 评估:在美学质量、成像质量和主题一致性三个维度上得分高于官方 API。官方 API 仅在运动平滑度和动态程度上略占优势,背景一致性两者持平。
- UniPercept 评估:在感知质量的三个轴上全面领先。美学(IAA)和技术图像质量(IQA)平均高出约 8 分,结构和纹理(ISTA)平均高出约 3 分。
- 用户盲测研究:在 200 次成对判断中(权衡清晰度、细节、自然度、伪影和时间稳定性),87% 的参与者更偏好 Open-H3-Regenerate-2K 的输出结果。
部署与组件集成指南
由于 Open-H3-Regenerate-2K 是一个整合了多项社区技术的工程方案,其本地部署并非单一模型的下载,而是需要正确配置和集成以下核心组件。
1. 基础环境与依赖
- 硬件要求:推荐使用支持 MXFP8 和高效稀疏注意力的现代 GPU(如英伟达B200 或同级别高显存显卡),以复现 22 秒级的 2K 生成速度。
- 软件依赖:需配置支持 SoL-Engine 优化的 PyTorch 环境,包括 CUDA 图支持、MXFP8 线性层库以及相应的稀疏注意力算子。
2. 核心模型组件准备
在运行推理前,需确保以下模型权重已下载并放置在正确的目录中:
- H3 基础组件:冻结的 H3 Transformer 权重与 H3 视频 VAE 权重。
- H3-Latent-Upscaler:社区提供的 3D 卷积网络权重,用于潜在空间的直接放大(2K 映射为每边 2.5 倍,4K 需连续应用两次)。
- 合并后的精炼器 LoRA:需获取或自行合并包含以下三部分的单一 LoRA 权重文件:
- Open-H3-Regenerate-2K 基础精炼器 LoRA。
LightX2V的FL2VA TurboLoRA。LMS Sharp适配器。
3. 推理配置与运行逻辑
- 输入兼容性:脚本需配置为接受任意低分辨率草稿(384P 至 768P),并支持指定目标输出分辨率(768P, 1080P, 2K, 4K)。
- 噪声调度设置:推理脚本必须严格配置为从 $\sigma_0 = 0.909$ 开始,执行 3 步 Euler 降噪,且关闭无分类器引导 (CFG),以确保每一步仅产生一次 Transformer 调用,维持少步推理的性能优势。
- 解码器切换:在推理配置中,显式调用
StreamRender-H3的 24 层快速 VAE 解码器,而非默认的 36 层解码器,以激活 1.6 秒的极速解码路径。
4. 适用范围说明
该方案支持 5 到 15 秒的视频片段单次通过精炼。例如,一个 15 秒(360 帧)的片段可在一次运行中直接重新生成为 2K 分辨率,无需分块处理。













