ComfyUI-DramaBox：基于 LTX-2.3 的提示驱动 TTS 节点，支持情感控制、语音克隆与 LoRA 风格定制，打造电影级有声表演

在传统文本转语音（TTS）中，往往难以精准控制说话人的情感起伏、呼吸节奏及非语言声音（如笑声、叹息）。DramaBox 是由 ResembleAI 开发、基于 LTX-2.3 音频扩散 Transformer 构建的高表现力 TTS 系统。

• GitHub：https://github.com/FranckyB/ComfyUI-DramaBox
• DramaBox：https://github.com/resemble-ai/DramaBox
• 模型：https://huggingface.co/ResembleAI/Dramabox
• Demo：https://huggingface.co/spaces/ResembleAI/Dramabox

它采用提示驱动（Prompt-Driven）机制，用户只需在文本中自然描述情感、语气或动作，AI 即可生成具备电影级真实感的语音。同时，它支持可选的 10 秒语音参考片段进行音色克隆，并引入 IC-LoRA 技术实现语音风格的快速定制与热切换，为 ComfyUI 工作流带来了前所未有的语音创作自由度。

核心亮点：提示即控制、情感细腻、LoRA 热切换

1. 提示驱动的全方位控制

• 自然语言指令：无需调整复杂的声学参数，直接在文本提示中描述所需效果。
  • 示例：“他笑着说：‘真的吗？’（带有轻蔑的语气）”、“她深吸一口气，颤抖着说：‘我害怕…’”
• 细粒度表现力：精准控制说话人身份、情感强度、表达方式、笑声、叹息、呼吸声、停顿及过渡效果。
• Gemma 3 赋能：以 Gemma 3 12B 模型生成的文本嵌入为条件，确保对复杂语义和情感指令的深度理解。

2. 高保真语音克隆与风格定制

• 零样本克隆：提供仅需 10 秒 的目标音色参考音频，即可在生成时克隆说话人身份。
• IC-LoRA 微调：基于 LTX-2.3 3.3B 纯音频模型进行 IC-LoRA 微调，平衡了生成质量与计算效率。
• LoRA 热切换：
  • 即时生效：LoRA 权重直接应用到已加载模型中，生成后立即移除。
  • 无重载延迟：在不同运行间切换 LoRA 无需重新加载庞大的基础模型，极大提升工作流效率。
  • 叠加增强：LoRA（ baked-in 风格）与语音参考片段（audio conditioning）可独立或组合使用，叠加效果更佳。

3. 完整的生态支持

• Voice Clone Studio – DramaBox Edition：提供专用的数据集创建器，自动转录并拆分长音频，简化自定义 LoRA 的训练流程。
• 自动权重管理：首次运行时自动下载所有必要模型权重至本地目录，开箱即用。
• CUDA 兼容优化：提供针对新版 CUDA 工具包的 bitsandbytes 源码构建指南，确保在最新硬件环境下的稳定性。

快速开始

1. 安装节点

cd ComfyUI/custom_nodes/
git clone https://github.com/FranckyB/ComfyUI-DramaBox.git
cd ComfyUI-DramaBox

2. 安装依赖

激活 ComfyUI 虚拟环境后：

# Windows
..\ComfyUI\venv\Scripts\activate
# Linux/macOS
source ../ComfyUI/venv/bin/activate

pip install -r requirements.txt

3. 处理 bitsandbytes 兼容性问题（如需）

若遇到 CUDA 加载错误，需从源码构建 bitsandbytes：

pip install scikit-build-core cmake ninja
$env:CMAKE_ARGS = "-DCOMPUTE_BACKEND=cuda" # Windows PowerShell
# export CMAKE_ARGS="-DCOMPUTE_BACKEND=cuda" # Linux/macOS

pip install "git+https://github.com/bitsandbytes-foundation/bitsandbytes.git" --no-build-isolation --force-reinstall

验证安装：

python -c "import bitsandbytes as bnb; bnb.functional.get_4bit_type('nf4'); print('OK', bnb.__version__)"

4. 使用节点

• DramaBox TTS：输入文本提示，可选连接语音参考音频和 LoRA 栈。
• DramaBox Options：配置步数、CFG 尺度、时长等高级参数，连接至 TTS 节点的 options 输入。
• 首次运行：节点将自动下载模型权重至 custom_nodes/ComfyUI-DramaBox/models/。

自定义 LoRA 训练流程

1. 准备数据：使用 Voice Clone Studio – DramaBox Edition 上传长音频。
2. 自动处理：工具自动转录并拆分为适合训练的小片段。
3. 训练 LoRA：运行训练脚本，生成 .safetensors 文件。
4. 部署：将生成的 LoRA 文件放入 ComfyUI 的 models/loras/ 文件夹。
5. 调用在 ComfyUI 中通过 LoraLoader 节点加载，并连接至 DramaBox TTS 的 lora_stack 输入。