MiniMax开源MiniMax Music 3 ：支持 5 分钟完整歌曲生成，采用混合 LLM 架构

稀宇科技（MiniMax）继开源视频模型 MiniMax H3 后，今日正式开源其最新音乐生成模型 MiniMax Music 3。该模型能够根据歌词和详细的音乐描述，生成长达五分钟、结构连贯且富有表现力的完整歌曲，输出格式为 32 kHz、16 位立体声 WAV 音频。

• 项目主页：https://minimax-ai.github.io/music3-demo
• GitHub：https://github.com/MiniMax-AI/MiniMax-Music3
• Hugging Face：https://huggingface.co/MiniMaxAI/MiniMax-Music3
• 魔搭：https://modelscope.cn/models/MiniMax/MiniMax-Music3
• ComfyUI：https://huggingface.co/Comfy-Org/MiniMax-Music-3
• Demo：https://huggingface.co/spaces/MiniMaxAI/MiniMax-Music3

核心架构：全局与局部协同的混合 LLM

MiniMax Music 3 采用了一种分层自回归架构，将长距离结构建模与细粒度声学细节建模分离：

• 全局大语言模型 (Global LLM, 8B)：基于 Qwen3-8B 初始化，负责逐帧预测第一个 RVQ 码本，对歌曲的长距离语义、主题演进和整体结构进行建模。
• 局部大语言模型 (Local LLM, 0.6B)：负责预测每一帧内剩余的七个声学码本，恢复高频细节、乐器音色和人声发音等细粒度信息。
• 连续隐状态合成：不同于传统的离散 Token 解码，该模型融合了 Global 和 Local LLM 的最终隐藏状态，通过流匹配（Flow Matching, 2.4B）和流变分自编码器（Flow-VAE）直接合成连续音频波形。这种设计保留了更丰富的声学信息，提升了人声的自然度和时间连续性。

功能亮点

1. 长程一致性：原生支持长达 5 分钟的完整歌曲生成，能够维持前奏、主歌、副歌、桥段及尾奏等完整结构的逻辑连贯性，避免传统模型在长序列中出现的风格漂移或结构崩坏。
2. 细粒度控制：
   • 歌词输入：支持明确的段落标签（如 [Verse], [Chorus], [Bridge] 等），精确控制演唱内容。
   • 结构化描述 (Structured Caption)：建议用户通过三部分描述来引导生成：
     • 全局元数据：流派、BPM、调性、情感演进。
     • 人声细节：性别、音色、演唱风格、和声。
     • 编曲配置：乐器组合、各段落演变、律动及空间效果。
3. 高质量音频输出：基于针对音乐动态范围重新训练的 Flow-VAE，确保生成的音频在频谱特性和动态范围上达到专业级标准。

技术细节

• 分词器：采用八层残差矢量量化（RVQ）。第一层为包含 16,384 个条目的语义码本，其余七层为各含 1,024 个条目的声学码本。
• 训练策略：先优化语义码本，再联合训练全部码本。推理阶段直接使用融合后的 LLM 隐藏状态，跳过了离散解码器的限制。