Artificial Analysis 的替代选择
Alternatives to Artificial Analysis
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者表示自己认同版内一种看法，即 Artificial Analysis 在有好的开源模型出现或 IPO 临近时改动其指标令人生疑，并向其他人询问有哪些替代的评测榜单。评论中有人提出替代者至少应与 Artificial Analysis 一样公开方法论，也有人讨论其资金来源与 OpenAI 董事会成员的关联，以及 OpenAI 目前排名第三等反驳意见。适合关注模型评测榜单可信度与评测方法论透明度的人阅读。
- 分级
- 值得看
- 所属主题
- 模型基准与比较
- 收录时间
- 2026-10-29
原帖
I share this sub's sentiment that it's suspicious how Artificial Analysis changes their metrics whenever a good open model or IPO seems to come about. What alternatives do you all recommend?
中文大意
发帖人 Sad_Temperature6721 在 r/LocalLLaMA 发帖，称自己不认同 Artificial Analysis 的做法：每当出现优秀的开放权重模型或临近 IPO 时，AA 似乎就会调整其指标，因此询问大家有哪些替代评测平台。评论区给出了多个替代方案：tinyleague（只收录官方发布的基准数据）、whatmodel.sh（包含 Ornith 等 AA 未收录的本地模型）、vals.ai、foodtruckbench、eqbench、DeepSWE（编码方向）、Epoch AI、swe-rebench，以及直接下载 AA 的原始分项数据自定权重自造指数。也有人主张 AA 的方法论是公开的、指标变动是基准饱和后的正常现象，还有人认为独立评测成本高、更新慢是普遍短板。适合关注模型评测榜单可信度、想找替代基准来源的本地模型用户阅读。
讨论区核心观点
依据 40 条评论
- 质疑派认为 AA 的方法论更新时机过于巧合：常在开放权重模型进入前五或新品发布后不久调整，调整后 OpenAI、Anthropic 模型分数从不变差，而其他模型持平或下滑。 出处（新标签页打开）
- 辩护派指出 AA 公开了方法论，且基准饱和后必须更换更难的新基准，分数重新拉开是自然现象，排行榜快速变化会随模型迭代加速而更频繁。 出处（新标签页打开）
- 有人指出利益关系问题：AA 背后有大型实验室董事支持，开放权重模型竞争力强会不利于其 IPO 定价，因此不一定需要偏袒自家模型，只需让开放模型显得不够好。 出处（新标签页打开）
- 推荐的替代来源包括 tinyleague、whatmodel.sh、vals.ai、foodtruckbench、eqbench、DeepSWE、Epoch AI、swe-rebench，以及用 AA 公开的原始分项数据自定权重自建指数。 出处（新标签页打开）
- 普遍共识是独立评测成本高、模型覆盖少、更新慢，很难达到 AA 的更新频率和完整度，因此多数人仍把 AA 当作相对性能参考，只是不再全信。 出处（新标签页打开）
- 也有人认为不必纠结：把常用的偏好模型当作基准锚点来读 AA 即可，个别具体子榜（如 AA-T2I 人体解剖）明显与现实不符，才是真正降低可信度的地方。 出处（新标签页打开）