DiffSynth-Music：用“声音”指挥 AI 写歌，阿里与上交大推出插件式可控音乐生成框架

77 0

现在的 AI 音乐工具大多依赖文字描述（如“悲伤的钢琴曲”），但文字很难精准传达节奏的快慢、旋律的起伏或乐器的具体编排。如果你想复刻某段鼓点，或者沿用一段哼唱的旋律，打字往往词不达意。

阿里巴巴通义实验室与上海交通大学联合推出的 DiffSynth-Music，它是一套基于 ACE-Step-1.5 构建的插件式 AI 音乐生成框架，支持“拿声音下命令”。用户只需提供一小段参考音频，AI 就能精准提取其中的节拍、人声、伴奏或韵律特征，并以此为基础生成全新的歌曲。

DiffSynth-Music 不改动庞大的基础音乐大模型主干，而是通过三套轻量化的适配器模板（Adapter Templates）注入控制信号。它支持以下五种控制模式，且可以自由组合：

控制模式	功能描述	应用场景
🥁 节拍 (Beats)	严格对齐输入音频的鼓点节奏和重拍位置。	想要保留某首歌的动感节奏，但更换旋律和乐器。
🎤 人声 (Vocals)	保持人声轨道的演唱旋律和唱腔，生成全新伴奏。	为现有的清唱或干声搭配新的编曲。
🎸 伴奏 (Accompany)	保持伴奏的乐器编排、和弦走向，生成全新人声。	使用喜欢的伴奏框架，填入新歌词和新演唱。
🎼 韵律 (Prosody)	仅提取人声的音高、节奏起伏，剥离原歌手音色和咬字。	“旧旋律，新嗓音”：用别人的旋律框架，换上虚拟歌手或自己的声音演唱。
🎧 参考 (Reference)	捕捉整体风格、音色、混音质感和旋律倾向（实验性）。	快速生成与参考片段“听感相似”但内容全新的原创歌曲。

💡 组合玩法：你可以同时开启多个条件。例如：A 曲的鼓点 + B 曲的演唱韵律 + C 曲的伴奏风格，混合生成一首前所未有的作品。

冻结主干，插件适配
- 基础音乐生成模型（ACE-Step-1.5）全程冻结，不重新训练。
- 仅训练三套轻量级适配器（Control, Prosody, Reference），普通硬件即可微调，大幅降低科研和开发成本。
KV 缓存复用，推理极速
- 参考音频的控制信息只计算一次，生成注意力键值（KV）缓存。
- 在后续生成音乐的每一步中直接复用该缓存，无需反复运算，显著减少算力开销和等待时间。
统一的音频处理通路
- 所有类型的参考音频（节拍、人声、伴奏等）都通过同一个音频压缩编码器转换为内部隐式特征。
- 这使得不同控制条件之间具有天然的兼容性，便于多条件叠加。
中英文双语支持
- 在人声控制模式下，对中文和英文歌词的识别与生成准确率均有显著提升。

控制精度大幅提升：在节拍对齐、旋律复刻、伴奏跟随等指标上，优于多款主流开源 AI 音乐模型。
音乐品质持平：在悦耳度、制作质量和歌词匹配度上，与原版基础模型保持一致，未因增加控制条件而牺牲听感。
局限说明：
- 无法 100% 像素级复刻参考音频，主要是趋势和风格的对齐。
- 韵律模式难以完全剥离原歌手的所有音色痕迹。
- 多重条件叠加时可能出现轻微干扰，需进一步调优。

🎹 音乐创作与 Remix：
- 哼唱作曲：随口哼一段旋律，AI 自动配上专业编曲。
- 风格改编：把流行歌的旋律套用爵士乐的伴奏风格。
- 二次创作：提取喜欢的鼓点，创作全新旋律的歌曲。
🎬 短视频与游戏配乐：
- 提供一段参考片段，生成版权清晰、风格贴合且节奏匹配的专属背景音乐。
🎓 音乐教育与练习：
- 学生哼唱旋律，AI 生成不同乐器版本的伴奏，辅助视唱练耳和编曲实验。
🔬 科研与开发：
- 开源的适配器模板为研究者提供了新的基线，可扩展更多控制类型（如音量动态、和声走向等）。