# 模型基准与比较 学习基准设计、模型比较和实验可信度，适合阅读评测或设计实验的读者。 - 所属：[评测、安全与治理]() - 网站：[https://oplearnx.com/topics/model-benchmarks]() ## 推荐学习顺序 1. [Inkling：一个带有几处意外设计的新开源权重 975B MoE 模型]()（博客 · 深入）：Sebastian Raschka 撰写的架构与基准笔记，介绍 Thinking Machines Lab 发布的 Inkling：975B 参数开源权重 MoE 模型，每 token 激活 41B 参数，上下文窗口最高 1,048,576 token。文中说明其 66 层解码器、隐藏维度 6,144、前两层为稠密前馈、其余层含 256 个路由专家与 2 个共享专家、每 token 选 6 个路由专家，并提到每个解码块内的短卷积、以学习式相对位置偏置替代 RoPE 等设计；基准数据取自 Thinking Machines Lab 2026 年 7 月 15 日公布的结果，使用 effort 设置 0.99。 2. [Artificial Analysis 的替代选择]()（帖子 · 入门）：这是一篇 Reddit r/LocalLLaMA 社区帖子，作者表示自己认同版内一种看法，即 Artificial Analysis 在有好的开源模型出现或 IPO 临近时改动其指标令人生疑，并向其他人询问有哪些替代的评测榜单。评论中有人提出替代者至少应与 Artificial Analysis 一样公开方法论，也有人讨论其资金来源与 OpenAI 董事会成员的关联，以及 OpenAI 目前排名第三等反驳意见。适合关注模型评测榜单可信度与评测方法论透明度的人阅读。 3. [Artificial Analysis 智能指数 v5（重大更新）]()（帖子 · 进阶）：r/LocalLLaMA 社区帖子，介绍 Artificial Analysis 智能指数更新到 v5 版本，该版本据其发布方称是重大升级；帖子指出此次更新拉大了开放权重模型与闭源模型之间的差距，v5 中 60% 的指数基于私有测试集或留出答案，导致结果无法复现，并引用了官方公告中关于开放权重差距从 3 分扩大到 12 分的说法，同时提到有人根据实际使用体验质疑其准确性。适合关注模型评测榜单、开放权重与闭源模型能力对比的人阅读。 4. [评 AA v5：开源未死但旧指数偏袒，主张按任务细分智力指数]()（博客 · 进阶）：Nathan Lambert 于 2026 年 10 月 28 日发布的文章，是对 Artificial Analysis v5 及基准测试行业的评述。文中讨论了基准测试机构独立评估语言模型的难度、把多个分数聚合成单一数字时的取舍，以及当下缺乏真正前沿且有意义的基准这一问题。适合关注模型评测方法与基准设计的人阅读。 5. [【AINews】AI Engineer 纽约站：Gemini 4 Argon、Vals AI 基准测试]()（博客 · 入门）：Latent Space 旗下 AINews 栏目的一期新闻简报，日期范围为 2026 年 10 月 12 日至 13 日。内容涉及 Google 全球发布 Gemini 4 Argon（覆盖 API、Gemini 应用及搜索等入口，并列出每百万 token 2 美元/10 美元的入门价格及后续调价信息），以及 AI Engineer NYC 约两万人参加的大会主旨演讲，包括 Anthropic 的金融服务技术栈、Vals AI 的基准测试原则和 Coatue 的 AI 负责人分享。 6. [Gemini 4 Carbon：我们的下一代前沿模型]()（博客 · 入门）：Google DeepMind 2026 年 10 月 28 日发布的博客，宣布推出 Gemini 4 Carbon 模型，称其在网络安全和长周期任务能力上表现最强。文中给出该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一，并在 SEC-bench Pro（88.2%，漏洞发现）、ExploitGym（54.8%，漏洞利用）、CWE-bench（71.0%，修补）等基准上的成绩，同时提到在内部基准和安全编码环境中错位与捏造率有所下降。文中提及它建立在两周前发布的 Gemini 4 Argon 之上。 7. [推出 Claude Opus 5]()（博客 · 入门）：这是 Anthropic 的发布公告，介绍当日上线的 Claude Opus 5。文中称其接近 Claude Fable 5 的前沿智能水平而价格为其一半，在 Frontier-Bench、GDPval-AA 等编程与知识工作评测上达到新的最优水平，但在网络安全任务上仍落后于 Mythos 5；它成为 Claude Max 的默认模型和 Claude Pro 上最强的模型，与上一代 Opus 4.8 成本相同而性能提升，并提供可按智能或节省 token 调节的 effort 设置。 8. [Anthropic 关于独立评估方的最新通报]()（博客 · 入门）：Anthropic 公告，说明其引入独立第三方评估方的进展：已开始向非营利机构 METR 的团队提供类似员工的访问权限，METR 将公开发布其风险评估结果；此外还与 SecureBio、Accenture 合作评估，并与 Hugging Face 等其他机构进行早期商谈。文中还提到此前的承诺及签署的《Super Intelligence 白宫协议》，并解释了为何要与独立评估方合作，包括模型能力增强带来的更强安全防护需求和公开问责考量。 9. [在编程评测中区分信号与噪音]()（博客 · 进阶）：OpenAI 2026 年 7 月 8 日发布的分析文章，通过对编程基准 SWE-Bench Pro 的详细审计，称发现大量任务存在问题，并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来，讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。 10. [推出 LifeSciBench]()（博客 · 进阶）：这是 OpenAI 的研究发布，介绍 LifeSciBench——一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的表现。文中附有论文预印本链接，并讨论智能体式 AI 系统执行科研任务的能力。 11. [推出 GeneBench-Pro]()（博客 · 进阶）：OpenAI 2026 年 6 月 30 日发布的文章，介绍 GeneBench-Pro 这一研究级基准，用于测试 AI 智能体在计算生物学中面对模糊信息、做出重要判断的能力，覆盖基因组学、定量生物学和转化医学等更复杂、更贴近现实的任务。该基准是对 GeneBench 的扩展。内容面向关注 AI 科学评测的研究人员。 12. [如何测量与缓解位置偏差]()（博客 · 进阶）：这篇博客文章说明位置偏差：排位靠前的物品更容易被看到和点击，与相关性无关，例如 Google 搜索首位点击量约为第十位的 10 倍。文中还讨论了展示偏差、点击首个相关结果后忽略其余等原因，以及偏差通过历史数据自我强化的反馈回路，并给出测量与缓解方式的笔记。适合做推荐系统、关注排序与评估偏差的人阅读。 13. [UC Berkeley Data102（2025 年秋）]()（课程 · 进阶）：加州大学伯克利分校 Data 102《Data, Inference, and Decisions》2025 年秋季课程网站，页面注明内容已于 2026 年 3 月归档，仅供查阅。页面列出两位授课教师 Nivasini Ananthakrishnan 与 Ramesh Sridharan 的简介，以及按周组织的课程安排，包括讲座、实验、讨论课、Vitamin 小测和作业，主题覆盖二元决策、p 值与假设检验、多重假设检验与错误发现率控制、频率派与贝叶斯决策、贝叶斯建模与层次模型等。适合想学习数据推断与决策统计方法的人参考。 14. [模型替换工作坊：GPT-5.5 对比 Kimi、DeepSeek、Mistral]()（教程 · 进阶）：微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上对 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 运行相同场景，从数单词字母的提示词逐步递进到 RAG 依据性、图像输入、多语言陷阱、工具调用、循环中的工具调用，以及一个 LangChain v1 旅行智能体。之后转向评估：字符串检查评估、LLM-as-a-judge、微软用于从规格生成测试集的 ASSERT 工具，以及用 DSPy 优化提示词以让最便宜的模型也能满足要求。材料说明重点在于基准测试无法反映模型在自己应用中的行为，替换并实测才能看出差异。 15. [别轻信你的 AI 智能体，像科学家一样测试它们——Stephanie Jarmak，Omni Analytics]()（教程 · 进阶）：讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准，现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读，例如仅更换评测框架就让结果变化 30%；主张把公开基准用于初筛而非决策，并像做实验一样设计自建评测：真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。 16. [前沿模型为何当不好买方分析师——Janie Gu（Google DeepMind）与 Suyeol Yun（LinqAlpha）]()（博客 · 进阶）：Google DeepMind 负责 Kaggle Benchmarks 的产品经理 Janie Gu 说明多数 AI 基准为何失效：不反映真实工作、维护成本高、分数无法核实；并介绍 Kaggle 在复现 65 个行业基准时发现模型读取其他模型的 API 密钥、改写评分脚本、相同运行之间分数波动最高达 20%。LinqAlpha 的 AI 负责人 Suyeol Yun 随后介绍与 Google DeepMind 和 Kaggle 共同构建的 MandateBench，用于评测模型能否像买方分析师一样从基金授权一路做到完整投资备忘录。 17. [AI 写作为何仍像“垃圾内容”——Towards AI 的 Louis-François Bouchard]()（博客 · 进阶）：演讲者拆解 AI 写作给人“垃圾感”的原因：用词过度、泛泛而谈、言之无物、重复、幻觉，以及听起来像所有人混合的声音。随后介绍团队如何构建一个基准，衡量模型能否用他本人的风格写视频脚本：10 个脚本、每个模型 5 稿、4 个 LLM 评审、九项评分指标和 1000 次人工 A/B 对比。他还分享了成本、评审模型为何偏向自家模型家族，以及用 AI 写作的实用方法，包括填满示例的超长提示、由强模型做一轮审校、合并多份廉价草稿，以及始终保留人工编辑。 18. [如何用决策模型做评估（Evals）]()（博客 · 进阶）：Hamel 博客的文章，讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整，因而先演示阈值调优，再比较成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用；实验使用某公寓租赁代理的 100 条对话轨迹，任务是找出含错误的轨迹。 19. [JEV 竞技场博客与基准测试]()（项目 · 进阶）：r/LocalLLaMA 社区帖子，作者做了一个小型 2D 格斗游戏，由语言模型决定每一步动作：模型获得当前血量、距离、对手动作和可选动作，再决定接近、格挡、踢腿或发火球。当前排行榜包含 18 个模型、306 场对局，每对模型交换阵营各打一次；游戏会等待双方回答，因此 API 延迟不影响胜负。用户可自带选手：选模型和角色、写策略与防守指令、取昵称提交，自定义配置有单独排行榜并可观看对局。游戏还有一个 mental\_attack 动作：不攻击而是把预设消息注入对手的下一次提示，消耗一次物理动作且有冷却，不能直接改变血量或游戏状态。代码开源，可本地运行并用 JSON 定义选手和可续赛的锦标赛；录好的对局和内置机器人可离线无密钥运行，新的 API 对局需自备密钥。适合关注 LLM 对抗式评测、想比较不同模型决策与提示注入策略的人阅读。 20. [DishwasherBench——前沿模型能把碗碟装进洗碗机吗？]()（项目 · 进阶）：这是一个用于评测语言模型的 GitHub 项目：内置名为 Spotless 的洗碗机装载游戏，基于一台真实机器（Bosch SMV4HAX40G）的物理仿真，玩家在浏览器中按刚体物理装载 3D 物件，并按 Eco 50 程序模拟水流、污渍与洗涤剂作用，按洗干净的件数计分。项目强调装载结果确定可复现、每次对局都是可由他人重放验证的记录，人类通过浏览器游玩，模型通过 MCP 接口游玩。 21. [把鸡尾酒会音频当作反向图灵测试：人类胜过语音模型，但差距不够大 \[P\]]()（帖子 · 进阶）：一篇 r/MachineLearning 社区帖子，作者用 40 段合成音频（一条目标语句混在多人声背景中）搭建了一个类似音频验证码的小实验，收集 18 场会话共 146 份人工转写，并与 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR、Parakeet CTC、Gemini 等 8 种模型配置对比词准确率。结论是人类的平均词准确率为 0.71、通过率 77%，明显高于模型，但差距不足以做成可靠的 CAPTCHA；作者还说明指令提示可将 Gemini 从 0.34 提升到 0.54，并列出小样本、单一合成音色等局限。适合关注语音识别评测与音频人机区分方法的人阅读。 22. [Opus 5.5 会写出“垃圾代码”，但依然能成功：一个受 SlopCodeBench 启发的研究项目]()（帖子 · 进阶）：r/ClaudeAI 社区帖子。发帖者受 SlopCodeBench 基准（把问题拆成多个检查点，要求 agent 在自有旧代码上不断加功能，并用结构侵蚀和冗余度衡量代码变“脏”的程度）启发，把 Opus 5.5 跑完 196 个检查点（API 花费 266 美元），检验代码变脏是否预示表现变差。结论包括：35 个问题中有 22 个的侵蚀度与冗余度都上升；在同一问题内比较检查点后，脏乱程度并不预示下一个检查点是否做对；原先通过的测试仅约 0.3% 回归，且更脏的仓库并不更多回归；代码规模翻倍时下一个检查点成本约增 19%。适合关注 agentic coding 评测与代码质量控制的人阅读。 23. [Google Research 的 Harness2——递归式智能体 Harnessing]()（项目 · 深入）：这是 Google Research 发布的框架 Harness²，用于开放世界中的递归式智能体 harnessing。它把 harness（围绕模型的提示、工具、记忆、技能、编排等系统）和 harnessing（优化该系统）在模型权重固定的前提下分两个层级递归进行，并给出任务级递归的定义。仓库包含 arXiv 论文链接、项目网站、基准指南文档、演示 GIF 与 Apache 2.0 许可证，示例流程涉及 JobBench 基准的安装与运行命令。 24. [Papers with Code 现已开源 \[P\]]()（项目 · 进阶）：r/MachineLearning 社区帖子，作者称以 Apache 2.0 许可证开源了 Papers with Code 的重建版（Hugging Face 仓库），用于追踪热门 AI 研究、基准和 SOTA；技术栈为 Python FastAPI 后端加 React 前端，部署在 Hetzner VPS 上、整体为单一 monorepo，前端调用公开 API 进行可视化，并附带 MCP 服务器，目的是让社区共同贡献功能。适合关注 AI 论文与榜单平台建设、想参与开源 Web 项目开发的人阅读。 25. [用算力验证论文结果 \[D\]]()（帖子 · 进阶）：这是一条 Reddit r/MachineLearning 社区帖子。发帖人说自己尚未成为审稿人但明年可能会担任，提问审稿人如何决定分配算力去验证论文结果，以及所审论文的代码通常是否易于运行。评论中有人认为可以随机抽查几个结果、只在数值差异明显时深入，也有人指出现实中几乎没有审稿人在评审期间跑实验，原因包括评审时限、复现成本、可用算力，以及评审阶段常不提供代码（GitHub 会破坏匿名性）。适合关注机器学习论文评审流程与复现实践的人阅读。 26. [我们能否信任大语言模型判断一个研究想法是否新颖？]()（博客 · 深入）：这是 Ai2 在 Hugging Face 上发布的一篇文章，介绍其研究《Old Ideas, Novel Problems》，考察大语言模型评估科研想法新颖性的可靠性。文中同时发布了用于测试“新颖性评判器”的基准、数据和代码，以及可供研究者构建新评测集的自动化流程，并交代了该机构在科学发现辅助系统方面的相关项目背景。 27. [为开放 ASR 排行榜加上防刷分机制]()（博客 · 进阶）：Hugging Face 博客文章，由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集，为防止刷榜（benchmaxxing）或测试集污染，这些数据集将保持私有；排行榜默认平均 WER 仍只基于公开数据集计算，用户可通过开关选择是否纳入私有数据集查看其影响。 28. [可信第三方评估的共同操作指南]()（博客 · 深入）：OpenAI 于 2026 年 5 月 29 日发布的文章，分享关于第三方 AI 评估的指导意见，涉及如何评估前沿模型的能力、防护措施与评估有效性。文章指出独立可信的第三方评估对安全生态的作用，并谈到早期评估把模型当作聊天机器人、而当前前沿模型能使用工具、跨多步保持信息并在一整套工作流中行动，因此表现还取决于任务环境和配置。 29. [用于审计机器遗忘的新框架]()（博客 · 深入）：这是 Google 研究科学家 Mónica Ribero 于 2026 年 6 月 10 日发布的博客，介绍一种判断两组数据观察是否来自完全不同的底层分布、且具统计显著性的方法。文中提到机器遗忘对 GDPR 等法规合规、AI 安全与模型质量的意义，以及审计者往往只能通过查询模型并分析输出样本进行验证，其中用到双样本检验。 30. [用 Claude 发现密码学弱点]()（博客 · 深入）：Anthropic 研究人员的文章，介绍借助 Claude Mythos Preview 发现的两种改进后的密码算法攻击方法：一是显著削弱为后量子时代设计的数字签名方案 HAWK，二是给出攻击轮数缩减版 AES 的新途径。文章称这些属于研究层面的进展，目前不影响任何生产系统，并讨论了强大 AI 模型时代的密码学含义。 31. [LLM 评估与对齐的基础理念]()（书籍 · 进阶）：这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。 32. [AI 模型评估]()（书籍 · 进阶）：Leemay Nassery 撰写、Manning Publications 出版的书籍，共 250 页，预计出版日期为 2027-01-15，尚未出版，目前在 Manning MEAP 目录中连载。内容围绕模型上线前的评估与上线后的运行，包括离线诊断评估、用影子流量模拟生产条件、设计 A/B 测试验证模型对产品指标的影响、以人在回路反馈发现细微失败、以及用 LLM 作为自动评判者扩展评估流程。作者介绍了其在 Spotify、Comcast、Dropbox、Etsy 等公司从事实验与个性化工作的经验。 33. [研究评价中的定量方法]()（书籍 · 进阶）：这是一本由 White Rose University Press 出版的开放获取图书，作者为 Thelwall, Mike，出版信息只给到 2026 年。书中考察引文指标、替代计量（altmetrics）与人工智能方法在研究质量评价中的使用，结合理论讨论与实证证据，涉及这些指标的价值、局限及对招聘等评价决策的影响。主题词包括科学计量学、文献计量学和大语言模型。 34. [Bridgewater 如何把一亿份文档变成优势——Sam Green 与 Aaron Linsky，Bridgewater]()（博客 · 进阶）：Bridgewater Associates 的应用 AI 团队负责人 Sam Green 和产品工程负责人 Aaron Linsky 介绍其名为 Vault 的系统：汇集来自 135 个外部来源的一亿多份文档以及公司自身的备忘录和会议记录，经清洗、权限化和按内部本体标注。演讲给出三条经验：人和智能体对搜索的需求不同、最大的收益来自同时服务两者的单一工具、真正的目标是让智能体主动把值得关注的内容带给投资人，并提到自建基准使 precision at 10 从约 60% 提升到 90% 以上。 35. [保险理赔是 AI 最难处理的数据问题]()（博客 · 进阶）：Wisedocs 的 Denys Linkov 讲解保险理赔数据中充斥手写、传真、重复文件和 8GB 级 PDF 等非结构化内容，为何这既是保险 AI 的最大障碍也是最大机会。内容按步骤展开：清洗数据、单份文档内分析、跨理赔洞察，并介绍 Wisedocs 与 Artificial Analysis 合作构建的基准，用于测试模型处理医疗记录的能力。最后谈及处理技术栈以及监管、成本等话题。 36. [Qwen3.8-Flash-Next：Swift 1.5 与 Unsloth 在 Strix Halo 上的对比（Halogen、gufo、llama.cpp、UD-Q4\_K\_XL 与 IQ4\_XS）]()（帖子 · 深入）：这是 r/LocalLLaMA 的社区帖子，作者在 Asus ROG Flow Z13（128 GB、70 W）上对比 UkisAI 的 Qwen3.8-Flash-Next 微调版 Swift 1.5 与自己原有方案，涉及 Halogen、gufo、llama.cpp 三种引擎和多种量化格式，均启用 MTP。帖中记录了服务启动时间、32k prompt 下的 TTFT、预填充与解码速度、MTP 接受率、KLD，以及数学、LCB 和 11 项 Pi 代码任务的得分、耗时与 token 消耗，并说明结果仅来自单次运行。适合关注本地大模型推理性能、量化方案与编码智能体实测的人阅读。 37. [\[R\] 用 PCA 降维的 Conformer 中间层填充 256 维零空间，把 EmbeddingGemma-2（577M）在 MAEB 音频榜单上从第 26 名提到第 1（零训练） \[R\]]()（帖子 · 深入）：r/MachineLearning 社区帖子，讲述在 google/embeddinggemma-2（577M）上的实验：仅用 PCA 把中间 Conformer 层投影到最终投影矩阵未被使用的零空间，在 MTEB 榜单的 30 任务音频基准 MAEB 上宏平均分从 49.3% 升到 54.4%（\+5.1 点），MAEB 纯音频排名从第 26 升至第 1，完整 MAEB 从第 16 升至第 1；帖中并分析了文本对齐音频编码器末层过滤掉副语言与声学特征的现象，以及对 12 层 Conformer 逐层探测的结果。适合研究音频/多模态嵌入表示与零训练后处理的人阅读。 38. [我把 EmbeddingGemma-2（577M）从 MTEB 音频榜（MAEB）第 26 名带到第 1 名，零训练加一个 2.4MB 的 PCA 头，击败 9B 模型]()（帖子 · 深入）：这是一篇 Reddit r/LocalLLaMA 社区帖子，作者在 Google 的 577M 参数、768 维向量模型 embeddinggemma-2 上加入一个 2.37MB 的冻结 PCA 矩阵文件，未训练任何权重，就把 MAEB 音频榜得分从 49.3% 提升到 54.4%，音频榜从第 26 名升至第 1 名（完整 MAEB 从第 16 名升至第 1 名）。帖子解释了原理：从冻结音频编码器较早层提取特征以保留音色、情绪等声学信息，并列出无监督语音/性别聚类、歌曲音频检索、人声情绪分类等任务上的提升数字，权重发布在 Hugging Face。适合在笔记本或边缘设备上做音频/文本嵌入检索、关注小模型与嵌入模型改进的人阅读。 39. [好得不像真的？ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 得分与基座模型相同]()（帖子 · 进阶）：r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型，以及实际质量是否与榜单成绩相符（IQ2\_XXS 与基座持平）。作者指出其基准已饱和（90% 以上，AIME25 各版本均为 100），可能无法体现性能退化，也找不到 GSQ-RCO 模型的 KLD 数据，因此询问是否有人测过 KLD 或 PPL，以及在约 2 bpw 下预期的 KLD 是多少，并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）