谷歌发布语音转录模型Gemini 3.5 Transcribe :实时低延迟、智能净化口语,85+语言支持

早报2个月前发布 小马良
140 0

谷歌正式推出全新语音转文本模型 Gemini 3.5 Transcribe,也是目前谷歌精度最高的转录产品,主打智能实时语音交互。不同于传统语音识别难以应对背景噪音、口语卡顿、专业术语的痛点,这款模型能够直接将原始音频,转化成干净规整、经过理解优化后的文本。

  • 官方介绍:https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5-transcribe

目前普通用户已经可以在Android端Rambler、macOS版Gemini客户端体验该能力。开发者则能够通过Google AI Studio、Gemini企业智能体平台,调用API搭建语音代理、实时字幕、通话分析等应用。

谷歌发布语音转录模型Gemini 3.5 Transcribe :实时低延迟、智能净化口语,85+语言支持

双API架构,覆盖实时流式与录音文件处理

模型分成两条独立接口线路,适配两类典型开发场景:

  1. 实时流式接口 gemini‑3.5‑transcribe‑live(Live API)
    双向数据流,亚秒级延迟,适合对话交互、直播字幕这类需要即时反馈的语音应用。
  2. 预录音频接口 gemini‑3.5‑transcribe(Interactions API)
    处理会议录音、通话回放等已经录制完成的音频;自带说话人区分、逐词时间戳。

核心功能亮点

1、智能化转录,自动优化口语内容

模型识别说话时自我修正的语句,例如“周二见面——不,周三”,自动理顺最终表达;过滤嗯、啊等填充语气词,输出的文本自带标点、大小写等规范格式。

2、支持函数调用,语音可驱动复杂任务

转录模型能够发起函数调用,把图像生成、文档解析等任务交给其他Gemini模型完成,该能力现已登陆macOS Gemini客户端。

3、出色识别精度

实测流式场景词错误率4.0%,预录制音频低至2.6%;嘈杂环境下依旧稳定,可精准识别邮编、订单编号这类字母‑数字混合实体。

4、自定义词汇库

开发者可导入行业专属术语、特殊名称拼写,模型即可适配垂直领域的语音识别需求。

5、多语种、多方言识别

自动检测并转录超过85门语言,兼容不同地区口音。预录音频模式下,最多可精准区分3位说话人并打上时间戳;三人以上的多人会话识别目前属于实验性功能。

相比前代Chirp 3能力大幅升级

对比谷歌上一代转录模型Chirp 3,Gemini 3.5 Transcribe多项指标提升显著:

  • 转录完成速度提升70%
  • FLEURS基准测试:流式WER 5.50%、非流式WER 5.04%
  • 延迟、识别准确率、口语智能处理能力全面优化

全生态落地布局

谷歌已经将转录能力嵌入多款日常产品,打通语音‑屏幕上下文联动:

  • Gboard(安卓)‑Rambler功能:语音转写出排版整洁的文字,支持语音直接修改文稿、调整文风
  • Antigravity:结合屏幕内容、聊天历史,提升转录准确度,适配文件名、文档内语音指令
  • Google AI Studio:语音快速生成代码,赋能语音编程
  • macOS Gemini客户端:语音即可总结本地文件、跨应用复用文字、生成图像
  • Chrome(即将上线):网页任意输入框都支持语音口述,起草文案、发送回复、唤起Gemini指令

生态合作伙伴

Agora、LangChain、Vercel、LiveKit等开发平台已经接入Live API,降低开发者搭建实时语音产品的流媒体基础设施成本;Vivo、医疗、语言学习类厂商给出了正向反馈,肯定其延迟表现与多语言能力。

当前开放渠道

© 版权声明

相关文章