谷歌发布DiarizationLM-Gemma-4-E4B-v1：4B参数大模型，用于说话人分离后处理校正

谷歌在Hugging Face放出 DiarizationLM-Gemma-4-E4B-v1，这是基于Gemma 4 E4B（4B密集参数）微调得到的说话人分离后处理大模型，专门用来修正ASR转录结果、修复说话人标签，在4套经典语音基准上降低词分离错误。该项目不属于谷歌官方正式支持产品。

• GitHub：https://github.com/google/speaker-id/tree/master/DiarizationLM
• 模型：https://huggingface.co/google/DiarizationLM-Gemma-4-E4B-v1

概览

DiarizationLM是一套大语言模型后处理框架，目标是优化自动语音识别+说话人分轨（diarization）输出。

• 训练方式：Locality-Preserving Oracle Supervision（保局部性监督），在4套标准说话人分离数据集完整微调
  • Fisher English：双人电话对话语音
  • Callhome American English：2–5人非正式电话对话
  • ICSI Meeting Corpus：3–9人学术会议
  • AMI Meeting Corpus：4人桌面会议
• 相比前代DiarizationLM-8b-Fisher-v2（Llama3 8B，仅在双人电话数据训练，长独白容易身份漂移），本模型的训练目标会区分短附和短句（1~5词）与长独白（≥6词）：短片段修正说话人轮次边界，长独白保留声学得到的说话人锚点，抑制身份漂移。
• 亮点：参数仅4B，只有前代8B模型一半规模，但在4个基准上同时实现统计显著的WDER、cpWER指标下降（p<0.0001）。

训练配置

• 基础模型：Gemma 4 E4B，42层，隐藏维度2560，滑动窗口+全局混合注意力，词表262144
• LoRA配置：r=256，作用于全部注意力层、MLP、每层输入投影；权重合并为bfloat16，同时导出GGUF量化版
• 损失：仅交叉熵
• 训练数据：51063条Fisher样本 + 20762条Callhome/ICSI/AMI多语料样本，全部是保局部性的提示词-完成对
• 训练硬件：8片TPU v5p；10000步，全局batch=8，AdamW，峰值学习率1.5e-4，500步预热+余弦衰减
• 上下文：提示段4000字符，最大序列长度2560 tokens

模型文件包

1. model.safetensors：bfloat16合并权重，约16GB，HuggingFace Transformers原生
2. DiarizationLM-Gemma-4-E4B-v1-q4_k_m.gguf【推荐】Q4_K_M量化，约5.3GB，适配llama.cpp/Ollama
3. DiarizationLM-Gemma-4-E4B-v1-q4_0.gguf：Q4_0量化，约5.15GB
4. 配套：config、tokenizer、chat template等全套配置文件

基准指标

基线为 USM + turn-to-diarize，采用匈牙利匹配评估WDER（说话人错误率）、cpWER（保留说话人信息的词错误率）、SpkCntMAE说话人数量误差。

• Fisher双人电话：WDER由5.32%降至2.99%，cpWER从20.88%降到17.62%
• Callhome多说话人电话：WDER 7.74% → 4.92%
• ICSI多人会议：WDER 14.70% →14.10%
• AMI桌面会议：WDER 15.68% →14.89%

会议场景提升幅度小于电话对话场景，多人长会议的说话人识别仍是难点。

核心要点

1. 定位：后处理模型，不是语音识别/原生说话人分离模型；输入是已有的ASR+初步分轨结果，输出修正后的说话人标签与轮次。
2. 技术特色：保局部性监督，区分短句附和和长独白，缓解多人长会话的说话人身份漂移。
3. 优势：4B小体量，全4个基准同时获得指标改善，提供GGUF量化包，可本地Ollama/llama.cpp部署。
4. 边界：非谷歌官方支持产品；会议场景提升幅度弱于电话对话场景。