10Eros-Max

10Eros-Max 是一个基于 MiniMax H3 基础模型的实验性分支，旨在通过特征迁移（Feature Transfer）技术，将 LTX 2.3、Wan 2.2 以及 Krea 2 的学习模式融合到 H3 的 Transformer 架构中。该模型在保留 H3 核心音视频生成能力的同时，显著增强了视觉细节、运动连贯性及文本遵循能力。

核心技术：正交投影与外科手术式移植

10Eros-Max 的创新之处在于其精细的权重修改策略，而非简单的模型合并：

• 统一 Transformer 架构利用：H3 的注意力和前馈层不包含模态特定结构，这为跨模型特征迁移提供了理想的“插槽”。
• 正交投影数学：使用正交投影将新权重添加到 H3 未使用的方向上，确保迁移的特征是补充性的，而非覆盖原有的核心能力。
• 分层迁移策略：
  • LTX 2.3：主要影响 H3 的前部块，注入其标志性的运动细节。
  • Wan 2.2：针对中后部块及前馈层进行更广泛的修改，增强整体结构稳定性。
  • Krea 2（图像模型）：仅迁移其注意力结构中的查询（Q）和部分键值（KV）投影，专注于提升单帧内的空间细节与美学风格，严格避免破坏时间连贯性。

关键发现：Attn_K 的隔离保护

在开发过程中，团队发现 Attn_K（Key Projection） 承载着模型放大行为的关键校准功能。即使轻微的扰动也会导致音频质量下降及细节丢失。因此，10Eros-Max 采取了特殊的处理流程：

1. 将融合的 Q/K/V 投影解融合为独立张量。
2. 隔离 Attn_K，仅对 Q 和 V 进行移植操作。
3. 将修改后的 Q/V 与原始的 K 重新融合。
   这一发现对于后续 H3 社区的模型微调与合并具有重要的参考价值。

Token Refiner 的深度定制

在最终的 beta1 配置中，移植重点还覆盖了负责处理 Gemma 文本嵌入的 Token Refiner 块（Block 0 & 1）：

• Attn_Q：注入 Krea 的风格导向，改变 Token 级别的审美倾向。
• Attn_V：注入 LTX-2.3 (Eros) 的内容特征，丰富输出表现力。
• MLP fc1：移植 Wan 2.2 的前馈层，因其维度与 H3 Token Refiner 高度对齐（96% 覆盖率），能完美补充文本条件的处理逻辑。

性能表现与权衡

• 优势：带来了更细腻的运动细节、更丰富的 t2v 风格以及更强的提示词遵循能力，且未移除基础模型的核心行为。
• 权衡：由于 H3 采用统一的音视频注意力架构，对视频路径的修改不可避免地会对音频产生轻微影响。尽管已尽力隔离，但仍存在有限的音频质量退化。

许可证说明

10Eros-Max 遵循标准的 H3 社区许可证。但由于其融合了来自 LTX 2.3、Wan 2.2 和 Krea 2 的特征，这些源模型的社区许可证同样适用于模型中对应的特征部分。用户在使用时需遵守所有相关源的许可条款。