英伟达发布 NemotronLabs RE-USE-laughter:960 万参数多语言语音增强模型,专门保留笑声

英伟达推出了 NemotronLabs RE-USE-laughter,这是一款参数量仅为 960 万(9.6M)的多语言通用语音增强(Universal Speech Enhancement, USE)模型。该模型专为在复杂的真实世界退化条件下恢复语音质量而设计,并在保持高语音保真度的同时,创新性地优化了对非语音元素(如笑声)的保留能力。

  • Hugging Face:https://huggingface.co/nvidia/NVIDIA-NemotronLabs-RE-USE-laughter
  • ModelScope:https://modelscope.cn/models/nv-community/NVIDIA-NemotronLabs-RE-USE

核心特性与技术优势

  • 卓越的特征保留:在去除噪声和伪影的同时,能够更好地保留输入语音中的笑声等情感表达元素,避免传统增强模型常出现的“过度平滑”或情感丢失问题。
  • 全场景抗退化鲁棒性:对多种常见的音频退化现象具有强大的抵抗力,包括加性噪声、混响、削波失真、带宽限制、编解码器伪影、网络丢包以及低质量麦克风录音。
  • 广泛的采样率支持:原生支持 8 kHz 至 48 kHz 的多种输入采样率(8, 16, 22.05, 24, 32, 44.1, 48 kHz),适配从传统电话到高清音频的各类应用场景。
  • 语言无关与重叠语音处理:具备强大的跨语言泛化能力。在处理重叠语音时,模型被专门训练为锁定并保留主要说话者的声音,同时有效抑制背景中的其他说话者。
  • 商业就绪:该模型已完成优化,可直接部署并准备用于商业用途。

性能基准表现:极致的参效比

在 URGENT 2025 非盲测试集(噪声子集)上的评估显示,NemotronLabs RE-USE-laughter 以极小的参数量,在多项核心指标上超越或持平了参数量大数十倍的开源模型(如 250M 的 Sidon 和 500M 的 UniPASE):

模型参数量PESQ (语音质量)STOI ( intelligibility)Spk (说话者相似度)CAcc (ASR字符准确率)
噪声基线–1.340.500.7381.29
Sidon250M1.730.620.7484.68
UniPASE500M2.170.760.8187.28
NemotronLabs RE-USE-laughter9.6M2.600.780.8789.21

注:PESQ、STOI、Spk 和 CAcc 分数越高代表性能越好。该模型在语音质量(PESQ)、说话者身份保留(Spk)和下游 ASR 识别准确率(CAcc)上均取得了最优表现。

典型应用场景

  1. 实时通信与会议系统:在带宽受限或网络不稳定的环境下,提供清晰的语音传输,并准确分离重叠发言。
  2. 智能语音助手与客服:提升低质量麦克风输入的可懂度,显著提高后端 ASR(自动语音识别)系统的字符准确率。
  3. 游戏与虚拟社交:在保留玩家真实情感表达(如笑声、欢呼)的同时,有效过滤游戏背景音和环境噪声。
  4. 边缘设备部署:得益于其仅 9.6M 的轻量级参数量,该模型非常适合部署在算力受限的边缘设备、移动端或 IoT 硬件上。
© 版权声明

相关文章