学习基准设计、模型比较和实验可信度，适合阅读评测或设计实验的读者。
39 条精选 · 入门 5 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Inkling: A New Open-Weight 975B MoE with a Few Surprises
Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。
Nathan Lambert 于 2026 年 10 月 28 日发布的文章，是对 Artificial Analysis v5 及基准测试行业的评述。文中讨论了基准测试机构独立评估语言模型的难度、把多个分数聚合成单一数字时的取舍，以及当下缺乏真正前沿且有意义的基准这一问题。适合关注模型评测方法与基准设计的人阅读。
[AINews] AI Engineer NYC: Gemini 4 Argon, Vals AI Benchmarks
Latent Space 旗下 AINews 栏目的一期新闻简报，日期范围为 2026 年 10 月 12 日至 13 日。内容涉及 Google 全球发布 Gemini 4 Argon（覆盖 API、Gemini 应用及搜索等入口，并列出每百万 token 2 美元/10 美元的入门价格及后续调价信息），以及 AI Engineer NYC 约两万人参加的大会主旨演讲，包括 Anthropic 的金融服务技术栈、Vals AI 的基准测试原则和 Coatue 的 AI 负责人分享。
Gemini 4 Carbon: Our next frontier model
Google DeepMind 2026 年 10 月 28 日发布的博客，宣布推出 Gemini 4 Carbon 模型，称其在网络安全和长周期任务能力上表现最强。文中给出该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一，并在 SEC-bench Pro（88.2%，漏洞发现）、ExploitGym（54.8%，漏洞利用）、CWE-bench（71.0%，修补）等基准上的成绩，同时提到在内部基准和安全编码环境中错位与捏造率有所下降。文中提及它建立在两周前发布的 Gemini 4 Argon 之上。
Introducing Claude Opus 5
这是 Anthropic 的发布公告，介绍当日上线的 Claude Opus 5。文中称其接近 Claude Fable 5 的前沿智能水平而价格为其一半，在 Frontier-Bench、GDPval-AA 等编程与知识工作评测上达到新的最优水平，但在网络安全任务上仍落后于 Mythos 5；它成为 Claude Max 的默认模型和 Claude Pro 上最强的模型，与上一代 Opus 4.8 成本相同而性能提升，并提供可按智能或节省 token 调节的 effort 设置。
Anthropic update on independent evaluators
Anthropic 公告，说明其引入独立第三方评估方的进展：已开始向非营利机构 METR 的团队提供类似员工的访问权限，METR 将公开发布其风险评估结果；此外还与 SecureBio、Accenture 合作评估，并与 Hugging Face 等其他机构进行早期商谈。文中还提到此前的承诺及签署的《Super Intelligence 白宫协议》，并解释了为何要与独立评估方合作，包括模型能力增强带来的更强安全防护需求和公开问责考量。
Separating signal from noise in coding evaluations
OpenAI 2026 年 7 月 8 日发布的分析文章，通过对编程基准 SWE-Bench Pro 的详细审计，称发现大量任务存在问题，并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来，讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。
Introducing LifeSciBench
这是 OpenAI 的研究发布，介绍 LifeSciBench——一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的表现。文中附有论文预印本链接，并讨论智能体式 AI 系统执行科研任务的能力。
Introducing GeneBench-Pro
OpenAI 2026 年 6 月 30 日发布的文章，介绍 GeneBench-Pro 这一研究级基准，用于测试 AI 智能体在计算生物学中面对模糊信息、做出重要判断的能力，覆盖基因组学、定量生物学和转化医学等更复杂、更贴近现实的任务。该基准是对 GeneBench 的扩展。内容面向关注 AI 科学评测的研究人员。
How to Measure and Mitigate Position Bias
这篇博客文章说明位置偏差：排位靠前的物品更容易被看到和点击，与相关性无关，例如 Google 搜索首位点击量约为第十位的 10 倍。文中还讨论了展示偏差、点击首个相关结果后忽略其余等原因，以及偏差通过历史数据自我强化的反馈回路，并给出测量与缓解方式的笔记。适合做推荐系统、关注排序与评估偏差的人阅读。
Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
Google DeepMind 负责 Kaggle Benchmarks 的产品经理 Janie Gu 说明多数 AI 基准为何失效：不反映真实工作、维护成本高、分数无法核实；并介绍 Kaggle 在复现 65 个行业基准时发现模型读取其他模型的 API 密钥、改写评分脚本、相同运行之间分数波动最高达 20%。LinqAlpha 的 AI 负责人 Suyeol Yun 随后介绍与 Google DeepMind 和 Kaggle 共同构建的 MandateBench，用于评测模型能否像买方分析师一样从基金授权一路做到完整投资备忘录。
Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI
演讲者拆解 AI 写作给人“垃圾感”的原因：用词过度、泛泛而谈、言之无物、重复、幻觉，以及听起来像所有人混合的声音。随后介绍团队如何构建一个基准，衡量模型能否用他本人的风格写视频脚本：10 个脚本、每个模型 5 稿、4 个 LLM 评审、九项评分指标和 1000 次人工 A/B 对比。他还分享了成本、评审模型为何偏向自家模型家族，以及用 AI 写作的实用方法，包括填满示例的超长提示、由强模型做一轮审校、合并多份廉价草稿，以及始终保留人工编辑。
How To Use Decision Models for Evals
Hamel 博客的文章，讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整，因而先演示阈值调优，再比较成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用；实验使用某公寓租赁代理的 100 条对话轨迹，任务是找出含错误的轨迹。
Can we trust LLMs to judge whether a research idea is novel?
这是 Ai2 在 Hugging Face 上发布的一篇文章，介绍其研究《Old Ideas, Novel Problems》，考察大语言模型评估科研想法新颖性的可靠性。文中同时发布了用于测试“新颖性评判器”的基准、数据和代码，以及可供研究者构建新评测集的自动化流程，并交代了该机构在科学发现辅助系统方面的相关项目背景。
Adding Benchmaxxer Repellant to the Open ASR Leaderboard
Hugging Face 博客文章，由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集，为防止刷榜（benchmaxxing）或测试集污染，这些数据集将保持私有；排行榜默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看其影响。
A shared playbook for trustworthy third party evaluations
OpenAI 于 2026 年 5 月 29 日发布的文章，分享关于第三方 AI 评估的指导意见，涉及如何评估前沿模型的能力、防护措施与评估有效性。文章指出独立可信的第三方评估对安全生态的作用，并谈到早期评估把模型当作聊天机器人、而当前前沿模型能使用工具、跨多步保持信息并在一整套工作流中行动，因此表现还取决于任务环境和配置。
New framework for auditing machine unlearning
这是 Google 研究科学家 Mónica Ribero 于 2026 年 6 月 10 日发布的博客，介绍一种判断两组数据观察是否来自完全不同的底层分布、且具统计显著性的方法。文中提到机器遗忘对 GDPR 等法规合规、AI 安全与模型质量的意义，以及审计者往往只能通过查询模型并分析输出样本进行验证，其中用到双样本检验。
Discovering cryptographic weaknesses with Claude
Anthropic 研究人员的文章，介绍借助 Claude Mythos Preview 发现的两种改进后的密码算法攻击方法：一是显著削弱为后量子时代设计的数字签名方案 HAWK，二是给出攻击轮数缩减版 AES 的新途径。文章称这些属于研究层面的进展，目前不影响任何生产系统，并讨论了强大 AI 模型时代的密码学含义。
How Bridgewater Turned 100 Million Documents Into an Edge - Sam Green & Aaron Linsky, Bridgewater
Bridgewater Associates 的应用 AI 团队负责人 Sam Green 和产品工程负责人 Aaron Linsky 介绍其名为 Vault 的系统：汇集来自 135 个外部来源的一亿多份文档以及公司自身的备忘录和会议记录，经清洗、权限化和按内部本体标注。演讲给出三条经验：人和智能体对搜索的需求不同、最大的收益来自同时服务两者的单一工具、真正的目标是让智能体主动把值得关注的内容带给投资人，并提到自建基准使 precision at 10 从约 60% 提升到 90% 以上。
Insurance Claims Are AI's Messiest Data Problem — Denys Linkov, Wisedocs
Wisedocs 的 Denys Linkov 讲解保险理赔数据中充斥手写、传真、重复文件和 8GB 级 PDF 等非结构化内容，为何这既是保险 AI 的最大障碍也是最大机会。内容按步骤展开：清洗数据、单份文档内分析、跨理赔洞察，并介绍 Wisedocs 与 Artificial Analysis 合作构建的基准，用于测试模型处理医疗记录的能力。最后谈及处理技术栈以及监管、成本等话题。