HeartMuLa_ComfyUI：在 ComfyUI 中运行开源音乐生成模型（需 16GB+ 显存）

HeartMuLa_ComfyUI 是一个为 ComfyUI 开发的自定义节点插件，旨在让用户通过可视化界面调用 HeartMuLa 开源音乐基础模型家族，实现：

• 高保真音乐生成
• 歌词转录（ASR）
• 多条件控制（文本 + 歌词 + 参考音频）

需要注意的是，该项目并非原生开发，而是对官方 heartlib 库的封装（wrapper），因此显存优化有限。建议至少配备 16GB 显存 才能稳定生成音乐。

• GitHub：https://github.com/benjiyaya/HeartMuLa_ComfyUI

HeartMuLa：开源音乐基础模型家族，支持歌词识别、高保真生成与细粒度控制

安装步骤

1. 克隆插件到 ComfyUI

cd ComfyUI/custom_nodes
git clone https://github.com/benjiyaya/HeartMuLa_ComfyUI

2. 安装依赖

cd HeartMuLa_ComfyUI
pip install -r requirements.txt

建议在 ComfyUI 的虚拟环境中执行，避免依赖冲突。

下载模型权重

进入 ComfyUI/models 目录，使用 Hugging Face CLI 下载所需模型：

# 主生成模型
hf download HeartMuLa/HeartMuLaGen --local-dir ./HeartMuLa

# 3B 参数开源模型
hf download HeartMuLa/HeartMuLa-oss-3B --local-dir ./HeartMuLa/HeartMuLa-oss-3B

# 音频编解码器（低帧率高保真）
hf download HeartMuLa/HeartCodec-oss --local-dir ./HeartMuLa/HeartCodec-oss

# 歌词转录模型
hf download HeartMuLa/HeartTranscriptor-oss --local-dir ./HeartMuLa/HeartTranscriptor-oss

若未安装 huggingface-cli，可先运行：
pip install huggingface-hub

最终目录结构

安装完成后，你的 ComfyUI 目录应如下所示：

ComfyUI/
├── models/
│   └── HeartMuLa/
│       ├── HeartMuLaGen/          # 主生成模型
│       ├── HeartMuLa-oss-3B/      # 3B 开源模型
│       ├── HeartCodec-oss/        # 音频编解码器
│       └── HeartTranscriptor-oss/ # 歌词识别模型
└── custom_nodes/
    └── HeartMuLa_ComfyUI/         # 自定义节点代码

使用提示

• 硬件要求高：由于是封装实现，未针对推理做深度优化，16GB 显存为最低推荐配置，24GB 更佳。
• 仅限非商业用途：模型权重采用 CC BY-NC 4.0 许可，禁止商用。
• 适合研究与创作：可用于短视频配乐、AI 音乐实验、歌词同步等场景。