interconnects.ai··3 天前
评 AA v5：开源未死但旧指数偏袒，主张按任务细分智力指数
Nathan Lambert 于 2026 年 10 月 28 日发布的文章，是对 Artificial Analysis v5 及基准测试行业的评述。文中讨论了基准测试机构独立评估语言模型的难度、把多个分数聚合成单一数字时的取舍，以及当下缺乏真正前沿且有意义的基准这一问题。适合关注模型评测方法与基准设计的人阅读。
- 分级
- 值得看
- 所属主题
- 模型基准与比较
- 收录时间
- 2026-10-29
推荐阅读
【AINews】AI Engineer 纽约站：Gemini 4 Argon、Vals AI 基准测试
[AINews] AI Engineer NYC: Gemini 4 Argon, Vals AI Benchmarks
Latent Space 旗下 AINews 栏目的一期新闻简报，日期范围为 2026 年 10 月 12 日至 13 日。内容涉及 Google 全球发布 Gemini 4 Argon（覆盖 API、Gemini 应用及搜索等入口，并列出每百万 token 2 美元/10 美元的入门价格及后续调价信息），以及 AI Engineer NYC 约两万人参加的大会主旨演讲，包括 Anthropic 的金融服务技术栈、Vals AI 的基准测试原则和 Coatue 的 AI 负责人分享。
Artificial Analysis 智能指数 v5（重大更新）
Artificial Analysis Intelligence Index v5 (major update)
r/LocalLLaMA 社区帖子，介绍 Artificial Analysis 智能指数更新到 v5 版本，该版本据其发布方称是重大升级；帖子指出此次更新拉大了开放权重模型与闭源模型之间的差距，v5 中 60% 的指数基于私有测试集或留出答案，导致结果无法复现，并引用了官方公告中关于开放权重差距从 3 分扩大到 12 分的说法，同时提到有人根据实际使用体验质疑其准确性。适合关注模型评测榜单、开放权重与闭源模型能力对比的人阅读。
Gemini 4 Carbon：我们的下一代前沿模型
Gemini 4 Carbon: Our next frontier model
Google DeepMind 2026 年 10 月 28 日发布的博客，宣布推出 Gemini 4 Carbon 模型，称其在网络安全和长周期任务能力上表现最强。文中给出该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一，并在 SEC-bench Pro（88.2%，漏洞发现）、ExploitGym（54.8%，漏洞利用）、CWE-bench（71.0%，修补）等基准上的成绩，同时提到在内部基准和安全编码环境中错位与捏造率有所下降。文中提及它建立在两周前发布的 Gemini 4 Argon 之上。
Artificial Analysis 的替代选择
Alternatives to Artificial Analysis
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者表示自己认同版内一种看法，即 Artificial Analysis 在有好的开源模型出现或 IPO 临近时改动其指标令人生疑，并向其他人询问有哪些替代的评测榜单。评论中有人提出替代者至少应与 Artificial Analysis 一样公开方法论，也有人讨论其资金来源与 OpenAI 董事会成员的关联，以及 OpenAI 目前排名第三等反驳意见。适合关注模型评测榜单可信度与评测方法论透明度的人阅读。
推出 Claude Opus 5
Introducing Claude Opus 5
这是 Anthropic 的发布公告，介绍当日上线的 Claude Opus 5。文中称其接近 Claude Fable 5 的前沿智能水平而价格为其一半，在 Frontier-Bench、GDPval-AA 等编程与知识工作评测上达到新的最优水平，但在网络安全任务上仍落后于 Mythos 5；它成为 Claude Max 的默认模型和 Claude Pro 上最强的模型，与上一代 Opus 4.8 成本相同而性能提升，并提供可按智能或节省 token 调节的 effort 设置。
原文涉及
- AI Model & API Providers Analysis | Artificial Analysis（新标签页打开）artificialanalysis.ai