Artificial Analysis 智能指数 v5（重大更新）
Artificial Analysis Intelligence Index v5 (major update)
r/LocalLLaMA 社区帖子，介绍 Artificial Analysis 智能指数更新到 v5 版本，该版本据其发布方称是重大升级；帖子指出此次更新拉大了开放权重模型与闭源模型之间的差距，v5 中 60% 的指数基于私有测试集或留出答案，导致结果无法复现，并引用了官方公告中关于开放权重差距从 3 分扩大到 12 分的说法，同时提到有人根据实际使用体验质疑其准确性。适合关注模型评测榜单、开放权重与闭源模型能力对比的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
原帖
Artificial Analysis Intelligence Index has been updated to v5, which according to them is a major upgrade resulting in a more accurate ranking. Notably, this update widens the gap between open-weight models and closed ones.
中文大意
发帖人称 Artificial Analysis Intelligence Index 升级到 v5，官方称是提高排名准确性的大更新，但其显著效果是拉大了开放权重模型与闭源模型的差距。文中引述官方公告：开放权重差距从 3 分扩大到 12 分；Kimi K3.1 Pro（权重尚未发布）以 46 分居开源首位，已发布权重中 DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 以 32 分领先，落后榜首 26 分，低于 Claude Haiku 5.5 (max, 36)。发帖人还提到 v5 有 60% 的指标基于私有测试集或保留答案，结果无法复现，并有人凭使用体验质疑其准确性（如 GPT-Terra-6.1 > Fable-5.1）。适合关注 LLM 评测体系、开源与闭源模型对比以及榜单可信度的读者。
讨论区核心观点
依据 40 条评论
- 不少评论怀疑更新时机：每当开源模型接近前沿时就改方法论，有评论说已是第三次遇到，且更新后开源模型总是明显落后。 出处（新标签页打开）
- 有人把 AA 类比成 Userbenchmark，认为其公信力和透明度下降（另有评论称 v5 有 60% 私有测试集、零可复现性、有时不公布 harness 信息）。 出处（新标签页打开）
- 质疑动机的一方猜测 AA 可能受闭源厂商影响，提到其团队做旧金山企业咨询、靠“捐赠”运营，英国/欧洲的中立评测被呼吁补位。 出处（新标签页打开）
- 为 AA 辩护的观点认为，头部模型分数接近意味着旧基准饱和，确实需要更难的新基准；但反驳者指出模型并未拿满分，且更新只压低开源模型、闭源分数几乎不动。 出处（新标签页打开）
- 另有评论指出更新并非只针对开源，类似 Gemini 3.8 这种“刷榜”模型与榜首差距也从 11 分扩大到 18 分，与其实际使用体验一致。 出处（新标签页打开）
- 部分人认为开源模型确实仍不如前沿闭源模型，尤其在复杂任务上掉得厉害，但差距不应有图表显示的那么大；也有人表示本地/开源已够用，最好的基准是自己上手用。 出处（新标签页打开）