Hugging Face Blog·· 2026-08-21精选AI 评分77
研究语音识别模型对公开基准的优化行为
Measuring benchmark optimization in speech recognition
AI 导读
研究团队评估11个广泛使用的开源ASR模型,发现部分高分模型会依据声学线索复现VoxPopuli和LibriSpeech中与音频不符的参考转录。模型还会恢复被遮蔽数字,并根据基准选择“any one”等正字法,部分模型在公开基准上的表现不能直接代表对新音频的转录能力。团队在Open ASR Leaderboard加入“Benchmark fitting”标签页,并开源相关脚本与未归一化模型输出。
推荐理由
文章用参考转录分歧、遮蔽数字和正字法切换三类测试,揭示公开语音识别基准可能被模型拟合,并提供可复现脚本帮助改进评测设计。
来源:Hugging Face Blog · huggingface.co