同声传译一直被视为语言转换领域的“皇冠明珠”,其核心挑战在于如何在“等待更多信息以确保准确”与“尽早输出以减少听众等待”之间找到完美的平衡。近日,腾讯混元正式发布了实时同声传译大模型 Hy-SimulMT 并宣布开源。该模型支持中英双向的“语音到语音”实时翻译,不仅实现了约 3 秒的超低延迟,更首创性地引入了实时音色克隆技术,在准确传达信息的同时高度还原说话人的声音特征。
- GitHub:https://github.com/Tencent-Hunyuan/Hy-SimulMT
- Hugging Face:https://huggingface.co/collections/tencent/hy-simulmt
- ModelScope:https://www.modelscope.cn/collections/Tencent-Hunyuan/Hy-SimulMT
核心技术:增量理解与实时音色克隆
传统的机器翻译往往需要等待整句或整段音频输入完毕才能进行翻译,这在实时会议场景中会造成严重的沟通滞后。Hy-SimulMT 采用了先进的流式处理架构:
- 边听边译的增量理解:模型能够在持续输入的语音流中进行增量语义解析与译文组织。这种机制大幅压缩了从“听到”到“译出”的时间差,让听众能够几乎同步获取跨语言信息,极大减少了对交流节奏的干扰。
- 高保真实时音色克隆:在输出译文语音时,Hy-SimulMT 能够实时提取并克隆原说话人的音色、语气与情感特征。这意味着跨语言交流不再是冰冷的机器合成音,而是保留了演讲者个人魅力的“原声”表达,显著提升了沉浸式体验。
权威评测:打破“延迟与质量”的权衡困境
为了验证模型的真实水平,腾讯团队在业界常用的开源长音频评测集 RealSI 上进行了严苛测试。结果显示,Hy-SimulMT 成功打破了同传领域“低延迟必然牺牲高准确率”的传统魔咒:
- 极致低延迟:其 StreamLAAL(同传翻译延迟指标)约为 3 秒,在所有参评系统中达到最低值。作为对比,人类专业译员的平均水平通常在 4-5 秒。
- 翻译质量越级:在使用 GPT-6.1-Sol 进行质量打分的 GEMBA 评测中,Hy-SimulMT 的得分不仅高于所有对比的开源同传模型,更超越了 5 个主流商业同传 API 中的 4 个。

“人机对决”:比肩顶尖人类同传专家
除了基准测试,腾讯团队还在合规范围内收集了涵盖软件 AI、医学、制造能源、法律、教育等 10 大专业领域的真实互联网音频,涵盖演讲、访谈、会议等多种场景,并邀请了 6 位拥有多年实战经验的人类同传专家(包含 CATTI 一级和二级口译证书持有者)进行对照测试。
在这场“人机对决”中,Hy-SimulMT 展现出了惊人的实力:其翻译质量达到了人类顶尖同传专家的最高分水平,而在响应速度(时延)上,模型则比人类专家更快、更稳定。这标志着 AI 同传在复杂专业领域的实用性已经达到了可商用部署的成熟阶段。
应用落地
目前,Hy-SimulMT 已在 腾讯 Hy 翻译 App 首发上线,面向用户提供免费的服务体验,让普通用户也能轻松享受专业级的跨语言交流辅助。
© 版权声明
文章版权归作者所有,未经允许请勿转载。















