英伟达推出了 NemotronLabs RE-USE-laughter,这是一款参数量仅为 960 万(9.6M)的多语言通用语音增强(Universal Speech Enhancement, USE)模型。该模型专为在复杂的真实世界退化条件下恢复语音质量而设计,并在保持高语音保真度的同时,创新性地优化了对非语音元素(如笑声)的保留能力。
- Hugging Face:https://huggingface.co/nvidia/NVIDIA-NemotronLabs-RE-USE-laughter
- ModelScope:https://modelscope.cn/models/nv-community/NVIDIA-NemotronLabs-RE-USE
核心特性与技术优势
- 卓越的特征保留:在去除噪声和伪影的同时,能够更好地保留输入语音中的笑声等情感表达元素,避免传统增强模型常出现的“过度平滑”或情感丢失问题。
- 全场景抗退化鲁棒性:对多种常见的音频退化现象具有强大的抵抗力,包括加性噪声、混响、削波失真、带宽限制、编解码器伪影、网络丢包以及低质量麦克风录音。
- 广泛的采样率支持:原生支持 8 kHz 至 48 kHz 的多种输入采样率(8, 16, 22.05, 24, 32, 44.1, 48 kHz),适配从传统电话到高清音频的各类应用场景。
- 语言无关与重叠语音处理:具备强大的跨语言泛化能力。在处理重叠语音时,模型被专门训练为锁定并保留主要说话者的声音,同时有效抑制背景中的其他说话者。
- 商业就绪:该模型已完成优化,可直接部署并准备用于商业用途。
性能基准表现:极致的参效比
在 URGENT 2025 非盲测试集(噪声子集)上的评估显示,NemotronLabs RE-USE-laughter 以极小的参数量,在多项核心指标上超越或持平了参数量大数十倍的开源模型(如 250M 的 Sidon 和 500M 的 UniPASE):
| 模型 | 参数量 | PESQ (语音质量) | STOI ( intelligibility) | Spk (说话者相似度) | CAcc (ASR字符准确率) |
|---|---|---|---|---|---|
| 噪声基线 | – | 1.34 | 0.50 | 0.73 | 81.29 |
| Sidon | 250M | 1.73 | 0.62 | 0.74 | 84.68 |
| UniPASE | 500M | 2.17 | 0.76 | 0.81 | 87.28 |
| NemotronLabs RE-USE-laughter | 9.6M | 2.60 | 0.78 | 0.87 | 89.21 |
注:PESQ、STOI、Spk 和 CAcc 分数越高代表性能越好。该模型在语音质量(PESQ)、说话者身份保留(Spk)和下游 ASR 识别准确率(CAcc)上均取得了最优表现。
典型应用场景
- 实时通信与会议系统:在带宽受限或网络不稳定的环境下,提供清晰的语音传输,并准确分离重叠发言。
- 智能语音助手与客服:提升低质量麦克风输入的可懂度,显著提高后端 ASR(自动语音识别)系统的字符准确率。
- 游戏与虚拟社交:在保留玩家真实情感表达(如笑声、欢呼)的同时,有效过滤游戏背景音和环境噪声。
- 边缘设备部署:得益于其仅 9.6M 的轻量级参数量,该模型非常适合部署在算力受限的边缘设备、移动端或 IoT 硬件上。
© 版权声明
文章版权归作者所有,未经允许请勿转载。















