ComfyUI-FL-YuE2：基于 YuE2-3B 的音乐生成节点，支持歌词作曲与 ABC 乐谱编辑

ComfyUI-FL-YuE2 是一个强大的自定义节点包，它将 YuE2-3B 音乐生成模型引入 ComfyUI 工作流。该工具允许用户通过自然语言描述风格、输入歌词，甚至直接编辑 ABC 乐谱来创作歌曲，并渲染出 48 kHz 的立体声音频。其最大的亮点在于集成了一个可视化的钢琴卷帘编辑器，让用户能够像使用 DAW（数字音频工作站）一样精细控制旋律与和弦。

• GitHub：https://github.com/filliptm/ComfyUI-FL-YuE2

超越 Suno v5！港科大开源 YuE2 问世，AI 音乐终于支持「乐谱级可控创作」

核心功能亮点

1. 可视化乐谱编辑器 (Piano Roll)
   • 直观编辑：内置基于浏览器的钢琴卷帘界面，支持点击添加音符、拖动调整音高/时值、多选移动等操作。
   • 双轨控制：支持独立的旋律轨道（单音）和和弦轨道，可分别编辑。
   • ABC 乐谱集成：编辑器底层基于 ABC 记谱法，支持导入/导出 ABC 字符串，并与 Compose 节点无缝对接。
   • 实时预览：通过简单的浏览器合成器即时试听编辑后的旋律，无需等待 AI 渲染。
2. 歌词与风格驱动生成
   • Compose 节点：接受自然语言提示词（流派、乐器、情绪、人声特征等）和结构化歌词（使用 [Verse], [Chorus] 标签）。
   • 规划模式：
     • full：生成完整的旋律与和弦。
     • melody：仅生成旋律，伴奏更自由。
     • off：跳过符号乐谱生成，直接根据风格提示生成音频。
3. 高质量音频渲染
   • 基于 YuE2-3B 模型和独立的 VAE 解码器。
   • 输出 48 kHz 立体声 WAV 音频。
   • 支持与 ComfyUI 现有的音频处理节点（如分离茎干、保存、预览）完美兼容。
4. 训练支持 (AR LoRA)
   • 提供完整的训练管线，支持使用经过审查的数据集对 YuE2 进行 AR LoRA 微调。
   • 包含 Training Studio 集成，方便用户用自己的录音和字幕定制专属音乐风格。

快速上手指南

1. 安装

推荐使用 ComfyUI Manager 搜索 ComfyUI-FL-YuE2 进行安装。
或者手动安装：

cd ComfyUI/custom_nodes
git clone https://github.com/filliptm/ComfyUI-FL-YuE2.git
cd ComfyUI-FL-YuE2
python -m pip install -r requirements.txt

注意：重启 ComfyUI 以加载新节点。

2. 模型下载

首次运行 Load Models 节点时，会自动下载约 7.8 GB 的模型文件到 ComfyUI/models/yue2/ 目录：

• YuE2-3B/ (主模型)
• YuE2-Vae/ (音频解码器)

3. 基础工作流

1. 加载示例工作流 example_workflows/score_editor_to_song.json。
2. Load Models：加载 YuE2 主模型和 VAE。
3. Compose：
   • 输入风格提示（如 “Upbeat Pop, Male Vocals”）。
   • 输入歌词（留空则为纯音乐）。
   • 选择规划模式（默认 full）。
4. Render Music：设置最大时长（上限 45 秒），生成音乐令牌。
5. Decode Audio：将潜空间数据解码为波形。
6. Preview/Save：收听或保存生成的音频。

乐谱编辑器深度使用

• 连接方式：将 Compose 节点的 score_abc 输出连接到 Piano Roll 节点的 incoming_score_abc 输入。
• 编辑流程：
  1. 排队运行 Compose 生成初始乐谱。
  2. 在 Piano Roll 中可视化修改旋律或和弦。
  3. 将修改后的乐谱连接回另一个 Compose 节点（保持风格和歌词一致）。
  4. 再次运行渲染，即可听到基于你修改后乐谱的新版本音频。
• 高级技巧：
  • 移调：更改 Key 参数可整体移调旋律与和弦。
  • 结构编辑：支持添加、复制、重新排序小节和部分（Section）。
  • 验证：编辑器会自动检查单音重叠等错误，确保乐谱符合 YuE2 的解析要求。

硬件与系统要求

• 显卡：英伟达显卡，支持 BF16。已在 RTX PRO 6000 (Blackwell) 上验证。建议显存 24GB+ 以获得最佳体验。
• 软件环境：
  • Python 3.12+
  • Torch 2.11+
  • ComfyUI (需包含 Comfy Kitchen 的分半 RMS/RoPE 操作支持)
• 操作系统：Windows / Linux

常见问题与故障排除

• 内存不足 (OOM)：
  • 减少 max_duration。
  • 减小 Decode Audio 节点的 tile_frames 参数。
  • 关闭其他占用显存的程序。
• 乐谱截断：
  • Compose 节点有 12,000 个令牌的乐谱预算。如果乐谱过长，会被截断。尝试简化乐谱结构或增加小节数限制。
• 结尾被切掉：
  • 增加 Render Music 中的 max_duration 上限。
• 编辑器不显示：
  • 确保已重启 ComfyUI 并刷新浏览器页面。编辑器依赖本地 /fl_yue2/score/validate 端点。