Audio8推出Audio8-ASR-0.1B：0.1B参数多语言ASR模型，支持iOS本地转录与边缘部署

Audio8推出Audio8-ASR-0.1B，一款专为LLM时代设计的紧凑型自回归语音识别模型。其语言模型组件仅0.1B参数，端到端唯一参数约0.324B，支持中文、英语、法语、德语、日语、韩语及粤语七种语言。

• 模型：https://huggingface.co/Audio8/Audio8-ASR-0.1B

在Open ASR Leaderboard英文七项基准中取得7.03%平均WER，H200上RTFx达741；内部WenetSpeech中文评测CER低于9%。项目提供Transformers检查点、ONNX Runtime边缘版（峰值内存~ 1.1GB）及iOS ANE版（峰值内存~200MB），后者可实现iPhone完全离线转录。模型加载需启用trust_remote_code=True，支持解码时热词增强且无需微调。

性能验证：公开基准与内部评测双轨确认

Audio8-ASR-0.1B的性能数据经严格可复现流程验证，避免选择性报告：

英文Open ASR Leaderboard（7分割均值）

测试条件标准化：BF16精度、eager attention、贪婪解码、max_new_tokens=256、30秒音频上限，批大小按数据集调整（628–2048）。原始清单与机器可读结果均开源存储，确保第三方可复现。

中文内部评测（WenetSpeech）

• Meeting场景：CER 8.842%
• Net场景：CER 7.976%

注：AISHELL被有意排除，因其与训练数据分布重叠可能导致过拟合假象。中文结果以字符错误率（CER）报告，符合汉语ASR评估惯例。导出模型经字节级一致性校验，仅移除冗余绑定张量，权重与训练版本完全相同。

架构设计与部署形态

模型采用“音频编码器+轻量LM”分离架构，兼顾效率与效果：

• 音频前端：Qwen3-ASR编码器 + MLP适配器/投影器，处理16kHz采样率输入
• 语言模型：8层Qwen风格因果Transformer，参数量103,502,336（≈0.104B）
• 端到端参数：323,990,528（≈0.324B），含音频编码器与适配器
• 热词支持：解码时logit增强，无需重新训练即可注入领域术语

三种部署形态适配不同场景：

iOS版本利用Apple Neural Engine加速，在A系列芯片上实现实时转录；ONNX版本通过算子融合与量化优化，在ARM/x86边缘设备上平衡延迟与功耗。两者均保留完整多语言能力，未因压缩牺牲语种覆盖。

使用注意事项与能力边界

尽管定位为“最小可用高性能ASR”，仍需注意以下限制：

• 加载要求：必须设置trust_remote_code=True，因模型包含自定义推理逻辑
• 音频规格：仅支持16kHz单声道输入，其他采样率需预处理重采样
• 时长限制：Open ASR评测强制30秒截断，超长音频需分段处理（模型本身无硬上限，但显存/内存随长度线性增长）
• 热词局限：logit增强适用于专有名词、产品型号等离散词汇，对短语级语义纠正无效
• 语种不平衡：英文数据占主导，小语种（如粤语）实际表现可能弱于中英，建议针对性测试
• 非流式架构：自回归设计导致延迟高于CTC/RNN-T模型，不适合超低延迟实时字幕场景

对于移动端集成，iOS ANE版本是当前最优解；若需在Android或Linux嵌入式设备部署，ONNX Runtime版本提供跨平台兼容性。服务器端高并发场景仍建议使用更大模型（如Whisper-large-v3），0.1B版本核心价值在于“够用且极轻”——当资源约束严于精度要求时，它是目前少数能同时满足多语言、低内存、可离线三重条件的选项。