把鸡尾酒会音频当作反向图灵测试：人类胜过语音模型，但差距不够大 [P]
Cocktail-party audio as a reverse Turing test: humans beat speech models, but not by enough [P]
一篇 r/MachineLearning 社区帖子，作者用 40 段合成音频（一条目标语句混在多人声背景中）搭建了一个类似音频验证码的小实验，收集 18 场会话共 146 份人工转写，并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%，明显高于模型，但差距不足以做成可靠的 CAPTCHA；作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54，并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
TL;DR: humans are better at the task but the gap is too narrow to be a reliable CAPTCHA
中文大意
发帖人用“鸡尾酒会”式听觉场景做反向图灵测试，看能否像音频 CAPTCHA 一样区分人和机器：40 段合成音频，每段一句目标句叠加多个背景人声（起音错开、衰减 4 dB）；收集 18 场次共 146 条人工转写，允许无限重播；测试 8 种模型配置（Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR 0.6B、Parakeet CTC 0.6B、Gemini 3.8 Flash 的朴素与“聚焦主说话人”提示两版），指标为词准确率。结果人类均值 0.71，指令版 Gemini 0.54（Qwen3-ASR 0.55）；通过率人类 77% 对 Gemini 55%；同片段配对差距 +0.13（95% CI +0.03 至 +0.23），AUC 0.62，0.5 到 0.9 的任何阈值都达不到他设想的“人类 >80%、机器 <20%”。提示词本身把 Gemini…
讨论区核心观点
依据 2 条评论
- 评论质疑所选模型规模偏小（Whisper Small、Qwen 0.6B 等），认为选型对结论有影响。 出处（新标签页打开）
- 发帖人回应说主要选能在十年前的老笔记本上、用 Docker 顺畅运行的模型，即便如此性能差距仍比他预期的小。 出处（新标签页打开）