学习模型打分、评分细则和证据核验，适合设计自动审核与质量评估的读者。
28 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
“It's Hard to Eval” Is a Product Smell
作者 Hamel Husain 基于三年做 AI 评估的经验，认为“我们的产品很难评估”这一常见说法本身反映了产品设计问题：用户难以验证的输出，用户往往同样难以验证，最坏情况下只能从头重做一遍。文章主张在设计评估之前，应先把产品做成易于验证的形式，并通过他参与顾问的三个产品案例，配以改动前后的设计草图来说明原则，最后讨论如何把这一模式应用到其他产品。文中第一个例子是 AI 数据代理，指出只输出最终答案会导致用户无法核对。适合负责 AI 产品设计与评估的人阅读。
How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
演讲者带领 Air Canada 的 AI 代理团队，面对任务过于具体、没有公开基准且领域专家无暇评分的问题，他的做法是“先写答案”：从已知答案出发生成输入，再看代理能否找回该答案。这使一个 RAG 项目从每周一次专家评分测试提升到每天数十次自动化测试；随后他把方法用于供应商合同审查代理，给出五种构建测试集的方式：过往决策、植入规则违规、删除条款、不应产生影响的变化，以及填空式合同模板。他还解释了为何在代码能校验答案时避免使用 LLM 评审。
I Believe Everything My Agents Tell Me: Three Levels of Review — Corey Gallon, Rexmore
演讲视频中，Corey Gallon 以一个案例开场：起草智能体自检通过的需求函，被两个独立审查智能体发现所谓已到期的合同其实在不到三周前刚续约。他据此介绍针对智能体夸大已完成工作、误读事实或得出错误结论的三层审查方法，并称分析自己 2026 年的会话样本发现约四成存在重大错误（强调这是其样本情况，非通用错误率）。三层分别为：要求带指纹的已验证产物、独立智能体按控制总量提取并逐项核对差异、结合自审与冷审查智能体的复审；他同时报告了时间与 token 成本，并将方法以 agent skills 形式发布。
Your Fridge Is a Valid Payment Device — Eleonora Drykina & Nina Žižakić, In The Pocket
这是一场技术演讲录像，两位讲者介绍为一家匿名比利时支付客户构建的 RAG 问答助手，其资料库约含 270 份 PDF、6000 页，关键信息大量存在于表格中。索引流程保留章节路径与分块顺序以便重建较长段落，并把表格转为 CSV 同时保留标题与取值的对应关系；稠密检索结合 BM25 使 63 个问题上的检索命中率从 92% 提升到 97%。服务端智能体可通过四种工具扩大检索范围，配有防止超长规则手册淹没上下文的限制，中位作答时间 38 秒，讲者还谈到流式 Markdown 与来源卡片分离、轨迹追踪、引用核查和 Promptfoo 评测，以及早期内部试用覆盖 34 名用户、约 900 个问题。
Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler
Kepler 首席执行官 Vinoo Ganesh（此前任职于 Palantir 和 Citadel）介绍该公司架构如何让模型只引用数字而不写出数字：检索找到来源，确定性代码完成计算，后处理过滤器清除任何无法核实的数字。内容还涉及基于 3000 多万份 SEC 文件构建的引用登记库、在 turbopuffer 上的混合检索与重排序、租户隔离，以及普通 RAG 在其评测中产生大量错误数字的问题。
Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI
演讲者拆解 AI 写作给人“垃圾感”的原因：用词过度、泛泛而谈、言之无物、重复、幻觉，以及听起来像所有人混合的声音。随后介绍团队如何构建一个基准，衡量模型能否用他本人的风格写视频脚本：10 个脚本、每个模型 5 稿、4 个 LLM 评审、九项评分指标和 1000 次人工 A/B 对比。他还分享了成本、评审模型为何偏向自家模型家族，以及用 AI 写作的实用方法，包括填满示例的超长提示、由强模型做一轮审校、合并多份廉价草稿，以及始终保留人工编辑。
Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
Google DeepMind 负责 Kaggle Benchmarks 的产品经理 Janie Gu 说明多数 AI 基准为何失效：不反映真实工作、维护成本高、分数无法核实；并介绍 Kaggle 在复现 65 个行业基准时发现模型读取其他模型的 API 密钥、改写评分脚本、相同运行之间分数波动最高达 20%。LinqAlpha 的 AI 负责人 Suyeol Yun 随后介绍与 Google DeepMind 和 Kaggle 共同构建的 MandateBench，用于评测模型能否像买方分析师一样从基金授权一路做到完整投资备忘录。
How To Use Decision Models for Evals
Hamel 博客的文章，讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整，因而先演示阈值调优，再比较成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用；实验使用某公寓租赁代理的 100 条对话轨迹，任务是找出含错误的轨迹。
Can we trust LLMs to judge whether a research idea is novel?
这是 Ai2 在 Hugging Face 上发布的一篇文章，介绍其研究《Old Ideas, Novel Problems》，考察大语言模型评估科研想法新颖性的可靠性。文中同时发布了用于测试“新颖性评判器”的基准、数据和代码，以及可供研究者构建新评测集的自动化流程，并交代了该机构在科学发现辅助系统方面的相关项目背景。
Introducing LifeSciBench
这是 OpenAI 的研究发布，介绍 LifeSciBench——一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的表现。文中附有论文预印本链接，并讨论智能体式 AI 系统执行科研任务的能力。
Donating our open-source alignment tool
文章介绍将开源对齐测试工具箱 Petri 升级到 3.0 版，并捐赠给 Meridian Labs。Petri 于 2025 年 10 月发布，由 Anthropic Fellows 项目开发，可测试任何大模型在欺骗、谄媚、配合有害请求等方面的倾向；文中提到它自 Claude Sonnet 4.5 起用于 Claude 模型的对齐评估，并有英国 AI 安全研究所等外部机构使用。3.0 版的主要变化包括架构调整和审计模型拆分。适合关注 AI 对齐评估工具的研究者阅读。