OpenAI 发布 GPT-Live-1.1:全双工语音模型引入“待机模式”,将空闲会话成本降低 60%

早报4小时前发布 小马良
4 0

OpenAI 正式在其 API 中推出了 GPT-Live-1.1(模型 ID: gpt-live-1.1),这是其第二代全双工实时语音模型。作为 GPT-Live-1 的继任者,1.1 版本在跨语言口音自然度、转录准确性及任务执行可靠性上进行了显著优化。更引人注目的是,该版本引入了待机(Standby)模式,通过暂停空闲期间的推理计算,将 WebRTC 连接的空闲计费费率从每分钟 0.05 美元大幅降至 0.02 美元,为构建始终在线的语音智能体提供了更具经济性的解决方案。

  • 地址:https://developers.openai.com/zh-Hans/api/docs/models/gpt-live-1.1

核心升级:更自然、更精准、更省钱

1. 语音质量与性能提升

尽管 OpenAI 未公布具体的基准测试分数,但官方声称 GPT-Live-1.1 在以下四个方面实现了自我报告的改进:

  • 跨语言口音:在多语言切换时保持更自然、一致的口音,减少“机器感”。
  • 转录精度:提升了语音转文本(ASR)的准确率,特别是在嘈杂环境或快速语速下。
  • 细节处理:增强了对字母、数字等精确信息的识别与复述能力,适合处理代码、地址或订单号等场景。
  • 指令遵循:更可靠地执行复杂指令,减少误解或遗漏。

2. 待机模式:成本优化的关键

针对语音智能体常面临的“静默等待”成本问题,GPT-Live-1.1 引入了智能待机机制:

  • 工作原理:在检测到用户静音超过设定阈值(5-60 秒)后,服务器会暂停推理计算并发送 session.paused 事件,但保持 WebRTC 连接活跃。当检测到用户语音(VAD 触发)时,迅速恢复会话(session.resumed)。
  • 计费优势:
    • 活跃状态:$0.05 / 分钟
    • 待机状态:$0.02 / 分钟(成本降低 60%)
  • 配置灵活:开发者可通过 session.wake_policy 和 session.idle_timeout_s 精细控制唤醒策略与超时时间。

技术架构:端到端全双工与后端委托

GPT-Live-1.1 摒弃了传统的“ASR → LLM → TTS”级联架构,采用单模型端到端处理传入和传出音频流,原生支持回合检测与实时转录。

  • 上下文窗口:默认支持 128,000 Token,能够记忆长对话历史。
  • 智能委托:对于复杂的逻辑推理或工具调用,语音模型可将任务委托给后端文本模型:
    • GPT-6 Astra:处理高难度、需要深度推理的问题。
    • GPT-6 Luna:处理高吞吐量、常规性任务。
    • 自定义后端:支持通过 client 模式连接第三方或自建后端。

局限性与注意事项

  • 模态限制:仅支持音频和文本输入/输出,不支持图像、视频、结构化输出(Structured Outputs)、微调或预测输出。
  • 无开放权重:模型仅在 OpenAI 云端通过 API 提供,无本地部署或量化版本。
  • 计费分离:语音层的待机优惠仅针对音频连接时长。后端模型(如 Astra/Luna)的推理费用及工具调用费用仍单独计算,重型后端可能成为主要成本来源。
  • 延迟波动:OpenAI 警告,从待机状态唤醒后的首次回复可能会有轻微延迟。

部署与可用性

  • API 接入:通过 v1/live/sessions 端点连接,支持 WebRTC 或 WebSocket。
  • 电话集成:自 11 月 2 日起,所有组织均可使用出站 SIP 呼叫功能,支持构建电话语音智能体。
  • 并发限制:GPT-Live-1 和 1.1 拥有独立的并发会话限制,具体数值未在文档中公开,需根据账户层级确定。
© 版权声明

相关文章