PolyAI 发布 Dialog-RSN-1：直接“听”懂音频的原生对话模型

在语音交互领域，传统的做法通常是“先转文字，再理解意思”。这种级联模式虽然成熟，但往往会丢失语调、犹豫和停顿等关键情感线索。

PolyAI 最新推出的 Dialog-RSN-1 打破了这一惯例。这是一种音频原生的对话模型，它直接感知来电者的原始音频，将话轮转换、语音识别、函数调用和响应生成融合在一个模型中处理。目前，该模型已投入真实的生产环境通话中，服务于餐饮、保险等多个行业的大型企业客户。

• 官方介绍：https://poly.ai/blog/PolyAI-dialog-rsn-1
• 申请使用：https://poly.ai/dialog-rsn-1-early-access

为什么选择“音频原生”？

现有的语音 AI 架构主要有两种，但都存在明显的短板：

1. 级联堆栈（ASR + LLM）：先将语音转为文本，再交给大语言模型处理。缺点是语调和识别不确定性在第一步就丢失了，且需要手动调整端点参数，难以跨场景通用。
2. 端到端语音模型：虽然保留了音频信息，但通常将语音生成也融入模型，导致发音控制力弱。且为了保持实时性，往往需要 GPU 持续占用，成本高昂。

Dialog-RSN-1 采取了一种折中且高效的方案：仅在输入侧感知音频，输出侧保持分离。

• 输入端：模型直接对原始音频进行推理，捕捉细微的声学线索。
• 输出端：生成任务交给一个独立的、可提示的 TTS（文本转语音）系统。这样既保证了响应的自然度，又让企业对输出语音拥有完全的控制权。

核心机制：按需探测与智能话轮转换

Dialog-RSN-1 并非像传统全双工模型那样始终占用 GPU 进行流式处理，而是采用按需探测的模式：

1. 触发机制：通过高召回率的 VAD（语音活动检测）和计时器决定何时运行模型。
2. 话轮决策：模型输出的第一个 Token 决定了接下来的动作：
   • EMPTY：继续倾听。
   • ONGOING：用户还在说，保持等待。
   • COMPLETE：用户说完了，开始生成回复。
3. 并行处理：转录工作在响应生成或工具调用之后，与语音生成并行运行，进一步压缩延迟。

这种设计让廉价的声学线索只负责决定“何时询问”，而复杂的逻辑决策则由模型在完整上下文中完成。

性能表现：低于 300 毫秒的极速响应

在实际生产环境中，Dialog-RSN-1 展现了显著的优势：

• 响应速度：平均响应时间低于 300 毫秒，接近人类对话的自然节奏。
• 业务提升：在某大型餐厅集团中，相对包含率提升了 11%；在某保险公司中，呼叫延迟降低了 37%。
• 识别精度：在相同上下文下，其词错误率（WER）甚至低于 gpt-4o-transcribe（从 7.8% 降至 6.9% 以下）。

为了达到这一性能，PolyAI 在技术底层做了大量优化，包括在用户说话时预填充注意力缓存、使用仅追加的提示模板以减少缓存失效，以及引入平均接受率为 3.9 个 token 的微调推测解码器。

适用场景与获取方式

目前，Dialog-RSN-1 不开放权重，也没有公共 API，仅通过 PolyAI 的平台提供服务。

• 目标客户：大型、高通话量的企业。PolyAI 已拥有 100 多家企业客户和 2,000 多个实时部署。
• 适用行业：餐饮、保险、金融、医疗、酒店、零售、电信等。
• 典型应用：预订预约、计费支付、身份验证、呼叫路由、订单管理及故障排除。

对于自助开发者或中小企业来说，目前可能还不是最佳切入点。此外，发布初期仅支持英语，非英语场景仍建议使用 PolyAI 的 Raven 3.5 模型。