MOSS-SoundEffect v2.0 发布:基于 DiT + 流匹配架构,支持中英双语提示生成 30 秒高保真 48kHz 音效

语音模型5个月前发布 小马良
245 0

MOSI.AI 与 OpenMOSS 团队正式发布了 MOSS-SoundEffect v2.0,这是一款全新的文本到音频(Text-to-Audio, TTA)模型。作为 MOSS-TTS 系列中专攻非语音音频生成的成员,v2.0 在架构上进行了彻底革新,旨在为影视、游戏及互动媒体提供高保真、长时长的音效生成解决方案。

  • 模型:https://huggingface.co/OpenMOSS-Team/MOSS-SoundEffect-v2.0
MOSS-SoundEffect v2.0 发布:基于 DiT + 流匹配架构,支持中英双语提示生成 30 秒高保真 48kHz 音效

核心突破:DiT + 流匹配架构

MOSS-SoundEffect v2.0 摒弃了 v1 版本的离散 Token 自回归主干,转而采用更先进的 Diffusion Transformer (DiT) 结合 流匹配(Flow Matching) 训练目标。

  • 连续潜在空间建模:通过 DAC VAE 将音频压缩至连续潜在空间,相比离散 Token 能保留更多高频细节,显著提升音质。
  • 强大文本理解:集成 Qwen3 文本编码器,精准理解中英文自然语言提示,确保生成音效与描述高度一致。
  • 1.3B 参数量:在保证生成质量的同时,保持了相对高效的推理性能。

主要功能亮点

1. 广泛的音效覆盖

模型经过大规模多场景数据训练,能够生成各类高保真音效:

  • 自然环境:风雨声、海浪、森林鸟鸣等。
  • 城市环境:交通噪音、街道喧嚣、室内混响等。
  • 生物与动物:各类动物叫声、昆虫鸣叫等。
  • 人类动作:脚步声、衣物摩擦、物体碰撞等。
  • 音乐片段:短小的打击乐节奏或氛围音乐元素。

2. 长达 30 秒的稳定生成

  • 长时一致性:通过在训练阶段引入时长标签,模型能够稳定生成长达 30 秒 的连贯音频,避免了传统模型在长序列中常见的质量衰减或结构崩坏问题。
  • 高采样率:输出音频采样率高达 48 kHz,满足专业影视后期及游戏引擎的导入标准。

3. 中英双语原生支持

  • 模型直接使用中文和英文提示词进行训练,用户无需翻译即可用母语描述所需音效,极大降低了使用门槛并提升了提示词的准确性。

推荐推理超参数

为了获得最佳生成效果,建议参考以下配置:

参数默认值说明
num_inference_steps100流匹配求解器的迭代步数,步数越多细节越丰富。
cfg_scale4.0无分类器引导权重,控制生成结果对提示词的遵循程度。
sigma_shift5.0流匹配调度器的偏移量,影响噪声调度过程。
seconds10.0期望输出的音频时长,最大支持 30 秒。

技术架构对比

特性MOSS-SoundEffect v1.0MOSS-SoundEffect v2.0
主干网络离散 Token 自回归模型Diffusion Transformer (DiT)
训练目标下一个 Token 预测流匹配 (Flow Matching)
潜在空间离散 Codebook连续潜在空间 (DAC VAE)
文本编码器通用编码器Qwen3
最大时长较短,易失真稳定支持 30 秒
音质表现良好高保真,细节更丰富

应用场景

  • 游戏开发:快速生成角色动作音效、环境背景音,减少录音成本。
  • 影视后期:根据剧本描述自动生成拟音素材,加速剪辑流程。
  • 虚拟现实 (VR/AR):实时生成沉浸式环境音效,提升交互体验。
  • 多媒体创作:为视频博客、播片添加独特的背景音效或转场声音。
© 版权声明

相关文章