ClipProj-MiniMax-H3

377 00

MiniMax H3 的视频生成能力很强,但它的文本编码器(Qwen3-VL-32B)是个“显存杀手”,光这一项就要吃掉 15.7 GB 显存。ClipProj 提供了一个巧妙的解决方案:通过一个学习到的线性投影矩阵,让只有 40 亿参数的 Qwen3-VL-4B 也能产出符合 H3 要求的条件控制张量。

作者
NicoLab28
基础模型
MiniMax H3
ClipProj-MiniMax-H3

ClipProj 是一个概念验证项目,通过学习到的线性投影矩阵,使 Qwen3-VL-4B(2560维)能够生成与 MiniMax H3 原生 Qwen3-VL-32B 文本编码器相同的条件控制张量 [seq, 5120]。实测VRAM占用从15.7GB降至5.2GB,无需修改扩散模型、VAE或采样器。核心原理是两模型共享151936令牌分词器,同一提示词产生相同位置令牌,故可用岭回归学习隐藏状态间逐位置映射(无梯度/无轮次/无学习率)。在2000提示词/288k令牌上校准的矩阵达跨提示CKA 0.92、测试余弦0.712、R² 0.507;八倍数据仅提升1.8%余弦,表明线性投影已达上限。

技术原理与实测性能边界

为什么线性投影可行?

  • 分词器对齐:4B与32B共享151936令牌vocab,同一prompt→相同token序列→相同位置索引
  • 激活空间结构相似性:尽管维度不同(2560 vs 5120),但语义拓扑在token级别可线性近似
  • 岭回归 sufficiency:纯解析解校准,2000 prompt即饱和;更多数据边际收益趋零

性能实测数据

校准集令牌数CKA余弦相似度R²解读
200 prompts37,3610.950.6990.490小样本已可用
2000 prompts288,6080.920.7120.507+8x数据仅+1.8%余弦
身份对照––~0~0W=0时prompt被忽略
bf16→fp8迁移–Δcos=0.0023––单矩阵覆盖所有4B变体

⚠️ 余弦0.71 ≠ 生成质量差:DiT对条件噪声容忍度高;简单prompt、结构化多镜头、fl2va首尾帧均表现良好。但线性投影已达理论上限,进一步提升需MLP非线性映射。

对照实验验证有效性

矩阵输出(”a red ball on a wood table”)‖W‖结论
h3_control_zero.pt乡村风景(prompt完全忽略)0基线:无条件信号
h3_control_identity.pt火焰中金物(不可用)50.6原始4B激活无效
h3_qwen3vl_4b_tap24.pt木桌红球 ✅52.4学习矩阵有效,能量相当

若身份对照效果尚可,则学习矩阵无价值——本项目已通过此检验。

部署与使用规范

必需组件

  1. 自定义节点:ComfyUI-ClipProj(必须安装,否则.pt文件无用)
  2. 投影矩阵:放入 ComfyUI/models/clip_projections/
    • h3_qwen3vl_4b_tap24.pt(推荐,2000 prompt校准)
    • h3_qwen3vl_4b_tap24_200prompts.pt(对比用)
    • 两个对照矩阵用于验证
  3. 模型:
    • 扩散+VAE:Comfy-Org/MiniMax-H3
    • 文本编码器:Comfy-Org/Krea-2/text_encoders/qwen3vl_4b_fp8_scaled.safetensors
    • 不再需要32B文本编码器

工作流接入

Load Clip Projection (h3_qwen3vl_4b_tap24.pt)
        ↓
Qwen3-VL-4B Encoder → Projected Conditioning → H3 Sampler

节点自动处理归一化:cond = ((h - μ_in)/σ_in) @ W * σ_out + μ_out

替代方案考量

需求ClipProj适用性更好选择
低显存H3✅ 核心优势INT8量化32B(~8GB)
具名引用保真❌ 致命缺陷完整32B编码器
ref2va支持❌ 不支持原生H3工作流
商业安全❌ 法律风险官方授权方案
研究探索✅ 理想场景–

相关图书

Viggle-Animate

Viggle-Animate

Viggle‑Animate 主打一套特殊的视频角色替换方案:只需要把源视频里某一帧画面,在图像编辑器中修改重绘目标角色,就可以把这个新角色完整扩散到整条视频片段。源视频原本的运动轨迹、相机运镜、时间线全部保留不变。
vh5tape

vh5tape

如果你想用 AI 复刻八十年代老旧录像带的复古画面,同时配套生成磁带噪音、沉闷单声道音效,vh5tape 这款社区 LoRA 就是专门为 MiniMax H3 全模态视频模型打造的复古风格工具。不同于普通图像滤镜,它可以做到画面损伤效果与音频磁带质感同步生成,一次性产出完整的 VHS 录像片段。
MiniMax-H3-PTD-RefAsymOPD-LoRAs

MiniMax-H3-PTD-RefAsymOPD-LoRAs

MiniMax-H3 Ref2VA PTD + RefAsymOPD 加速 LoRA 代表了当前参考图像到音视频生成领域的一项高效工程实践。它通过精巧的同策略蒸馏设计,成功打破了“推理速度”与“生成质量”之间的传统权衡,为需要在本地或云端进行高频、高质量 Ref2VA 生成的开发者和创作者,提供了一套低成本、高保真且易于集成的解决方案。
Qwen3-VL-32B Ultra Uncensored Heretic — MiniMax-H3 ComfyUI INT8 ConvRot

Qwen3-VL-32B Ultra Uncensored Heretic — MiniMax-H3 ComfyUI INT8 ConvRot

社区开发者推出了这款基于 Qwen3-VL-32B-Instruct-ultra-uncensored-heretic 定制的文本/视觉条件编码器。 该检查点经过深度裁剪与 INT8 ConvRot 量化,将原本超过 51 GB 的 BF16 模型压缩至约 24.55 GiB,使其能够在 RTX 5090 (32GB VRAM) 等高端消费级显卡上完成加载与推理,是运行 MiniMax-H3 的推荐版本。