MOSI.AI 与 OpenMOSS 团队正式发布了 MOSS-SoundEffect v2.0,这是一款全新的文本到音频(Text-to-Audio, TTA)模型。作为 MOSS-TTS 系列中专攻非语音音频生成的成员,v2.0 在架构上进行了彻底革新,旨在为影视、游戏及互动媒体提供高保真、长时长的音效生成解决方案。
- 模型:https://huggingface.co/OpenMOSS-Team/MOSS-SoundEffect-v2.0

核心突破:DiT + 流匹配架构
MOSS-SoundEffect v2.0 摒弃了 v1 版本的离散 Token 自回归主干,转而采用更先进的 Diffusion Transformer (DiT) 结合 流匹配(Flow Matching) 训练目标。
- 连续潜在空间建模:通过 DAC VAE 将音频压缩至连续潜在空间,相比离散 Token 能保留更多高频细节,显著提升音质。
- 强大文本理解:集成 Qwen3 文本编码器,精准理解中英文自然语言提示,确保生成音效与描述高度一致。
- 1.3B 参数量:在保证生成质量的同时,保持了相对高效的推理性能。
主要功能亮点
1. 广泛的音效覆盖
模型经过大规模多场景数据训练,能够生成各类高保真音效:
- 自然环境:风雨声、海浪、森林鸟鸣等。
- 城市环境:交通噪音、街道喧嚣、室内混响等。
- 生物与动物:各类动物叫声、昆虫鸣叫等。
- 人类动作:脚步声、衣物摩擦、物体碰撞等。
- 音乐片段:短小的打击乐节奏或氛围音乐元素。
2. 长达 30 秒的稳定生成
- 长时一致性:通过在训练阶段引入时长标签,模型能够稳定生成长达 30 秒 的连贯音频,避免了传统模型在长序列中常见的质量衰减或结构崩坏问题。
- 高采样率:输出音频采样率高达 48 kHz,满足专业影视后期及游戏引擎的导入标准。
3. 中英双语原生支持
- 模型直接使用中文和英文提示词进行训练,用户无需翻译即可用母语描述所需音效,极大降低了使用门槛并提升了提示词的准确性。
推荐推理超参数
为了获得最佳生成效果,建议参考以下配置:
| 参数 | 默认值 | 说明 |
|---|---|---|
num_inference_steps | 100 | 流匹配求解器的迭代步数,步数越多细节越丰富。 |
cfg_scale | 4.0 | 无分类器引导权重,控制生成结果对提示词的遵循程度。 |
sigma_shift | 5.0 | 流匹配调度器的偏移量,影响噪声调度过程。 |
seconds | 10.0 | 期望输出的音频时长,最大支持 30 秒。 |
技术架构对比
| 特性 | MOSS-SoundEffect v1.0 | MOSS-SoundEffect v2.0 |
|---|---|---|
| 主干网络 | 离散 Token 自回归模型 | Diffusion Transformer (DiT) |
| 训练目标 | 下一个 Token 预测 | 流匹配 (Flow Matching) |
| 潜在空间 | 离散 Codebook | 连续潜在空间 (DAC VAE) |
| 文本编码器 | 通用编码器 | Qwen3 |
| 最大时长 | 较短,易失真 | 稳定支持 30 秒 |
| 音质表现 | 良好 | 高保真,细节更丰富 |
应用场景
- 游戏开发:快速生成角色动作音效、环境背景音,减少录音成本。
- 影视后期:根据剧本描述自动生成拟音素材,加速剪辑流程。
- 虚拟现实 (VR/AR):实时生成沉浸式环境音效,提升交互体验。
- 多媒体创作:为视频博客、播片添加独特的背景音效或转场声音。
© 版权声明
文章版权归作者所有,未经允许请勿转载。















