衡量语音识别中的基准测试优化问题

这是一篇来自 HumeAI 等作者的文章，讨论公开语音 AI 基准分数与真实使用表现不符的现象，即模型可能因学习到基准特有的模式而提高分数，而非真正提升任务能力，这种现象常被称为 benchmark optimization 或“benchmaxxing”。文章提到作者此前在 Real World VoiceEQ、Open-ASR Leaderboard 和 Far-field ASR Leaderboard 中引入留存集（held-out sets），并指出仅扩大测量范围并不能解决该问题，且该现象在语音识别中一直难以度量。