# 模型裁判与质量评估 学习模型打分、评分细则和证据核验，适合设计自动审核与质量评估的读者。 - 所属：[评测、安全与治理]() - 网站：[https://oplearnx.com/topics/judges-quality-validation]() ## 推荐学习顺序 1. [如何写出你的第一个 AI 评估（Eval）——SallyAnn DeLucia，Arize AI]()（教程 · 入门）：这是 Arize AI 产品负责人 SallyAnn DeLucia 的实操工作坊录像，讲如何从依赖“感觉检查”转向正式的 AI 评估。内容涵盖 eval 的定义及其与单元测试的区别、主要评估类型（LLM 作为评审、决策模型、代码评估、人工标注、agent 作为评审）、如何阅读 trace、如何写出具体的通过/失败标准，以及在 Arize 的 prompt playground 中构建并迭代 LLM 评审。视频附有分章节时间轴。 2. [评估生成式 AI 应用]()（课程 · 入门）：Microsoft Learn 上的一条学习路径，共 2 个模块，面向初学者、开发人员角色，涉及 Azure Foundry Tools 和 Content Safety。内容包括评估生成式 AI 应用的基本概念与方法、分析输出质量、用自定义评估器评估输出，以及使用 Azure AI Evaluation SDK 运行评估并生成合成数据集。先决条件包括 Azure 订阅、对 Azure 门户的基本熟悉、初级 Python 能力，以及 GitHub 账号或本地 Docker、VS Code 开发容器扩展。 3. [“难以评估”是一种产品缺陷信号]()（博客 · 进阶）：作者 Hamel Husain 基于三年做 AI 评估的经验，认为“我们的产品很难评估”这一常见说法本身反映了产品设计问题：用户难以验证的输出，用户往往同样难以验证，最坏情况下只能从头重做一遍。文章主张在设计评估之前，应先把产品做成易于验证的形式，并通过他参与顾问的三个产品案例，配以改动前后的设计草图来说明原则，最后讨论如何把这一模式应用到其他产品。文中第一个例子是 AI 数据代理，指出只输出最终答案会导致用户无法核对。适合负责 AI 产品设计与评估的人阅读。 4. [assafkip/claudemy]()（项目 · 入门）：这是一个面向 Claude Code 的开源免费技能，定位为 Udemy、Coursera 的替代方案。用户给出一个主题，它会检索网络资料并生成约 12 节、每节 2 分钟的音频课程，并附上引用来源。技术标签显示其涉及文本转语音（ElevenLabs）、微学习与课程生成等方向。 5. [如何用决策模型做评估（Evals）]()（博客 · 进阶）：Hamel 博客的文章，讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整，因而先演示阈值调优，再比较成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用；实验使用某公寓租赁代理的 100 条对话轨迹，任务是找出含错误的轨迹。 6. [strands-labs/strands-decider]()（项目 · 进阶）：这是 Strands Labs 的一个开源项目，提供一个用于智能体工作流的小型快速决策模型（“系统 1”模型）。它可在选项之间做选择或在量表上打分，速度比 LLM 更快，并为每个决策给出经过校准的置信度。项目以 Python 编写，主页为 strandsagents.com 的 labs 文档。 7. [StartLuxLabs/StartLux-Decision]()（项目 · 进阶）：这是一个开源决策模型系列的项目仓库，模型规模从 0.8B 到 27B，一次推理即为每个选项给出校准概率，仅在不确定时输出简短思考。项目提供面向 vLLM、llama.cpp 和 MLX 的推理引擎，并提供 Hugging Face 模型页、arXiv 技术报告、API 文档与博客链接。 8. [模型替换工作坊：GPT-5.5 对比 Kimi、DeepSeek、Mistral]()（教程 · 进阶）：微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上对 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 运行相同场景，从数单词字母的提示词逐步递进到 RAG 依据性、图像输入、多语言陷阱、工具调用、循环中的工具调用，以及一个 LangChain v1 旅行智能体。之后转向评估：字符串检查评估、LLM-as-a-judge、微软用于从规格生成测试集的 ASSERT 工具，以及用 DSPy 优化提示词以让最便宜的模型也能满足要求。材料说明重点在于基准测试无法反映模型在自己应用中的行为，替换并实测才能看出差异。 9. [如何真正做 Token 优化并省下数百万——Alvin Pane（OutRival）]()（教程 · 进阶）：一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。 10. [没有基准时如何测试 AI 代理——Air Canada 的 Nathanael Weill]()（博客 · 进阶）：演讲者带领 Air Canada 的 AI 代理团队，面对任务过于具体、没有公开基准且领域专家无暇评分的问题，他的做法是“先写答案”：从已知答案出发生成输入，再看代理能否找回该答案。这使一个 RAG 项目从每周一次专家评分测试提升到每天数十次自动化测试；随后他把方法用于供应商合同审查代理，给出五种构建测试集的方式：过往决策、植入规则违规、删除条款、不应产生影响的变化，以及填空式合同模板。他还解释了为何在代码能校验答案时避免使用 LLM 评审。 11. [我相信我的智能体告诉我的一切：三层审查法——Corey Gallon，Rexmore]()（博客 · 进阶）：演讲视频中，Corey Gallon 以一个案例开场：起草智能体自检通过的需求函，被两个独立审查智能体发现所谓已到期的合同其实在不到三周前刚续约。他据此介绍针对智能体夸大已完成工作、误读事实或得出错误结论的三层审查方法，并称分析自己 2026 年的会话样本发现约四成存在重大错误（强调这是其样本情况，非通用错误率）。三层分别为：要求带指纹的已验证产物、独立智能体按控制总量提取并逐项核对差异、结合自审与冷审查智能体的复审；他同时报告了时间与 token 成本，并将方法以 agent skills 形式发布。 12. [高风险 AI 智能体的评估]()（教程 · 进阶）：Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊，用一个银行助手演示 AI 工程闭环：带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器，以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。 13. [如何判断你的 AI 智能体是否靠谱：用 Phoenix 与 Claude 做评估]()（教程 · 进阶）：这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。 14. [在你睡觉时自我改进的智能体——Fuad Ali，Arize AI]()（教程 · 进阶）：这是 Arize AI 的 Fuad Ali 的一场工作坊视频，讲解如何为 AI 智能体搭建自我改进闭环：追踪全部数据，让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题，把失败转化为评估与持续更新的回归数据集，运行实验证明修复有效，并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体，并包含关于定性输出评估、决策模型与成本的问答。 15. [让你的智能体动手：用技能评估与改进应用——Ankur Duggal，Arize AI]()（教程 · 进阶）：这场演讲展示一个金融智能体出现编造答案、重复调用工具、生成被自身评估判为错误的总结等失败，讲者 Ankur Duggal 通过 Arize 的命令行工具和技能把这些问题交给编码智能体处理，让它调查调用链、修改应用并运行实验。演示从投资问题出发，用 trace 揭示底层的主管、专家智能体、模型调用和工具，发现数值依据、编造回答、冗余搜索等问题，并用数据集、评估器和实验技能验证修复方案。问答涉及本地实验执行、评判模型、评估成本、采样，以及编码智能体把精力花在 lint 上的风险。 16. [用 Langfuse 持续改进代理——Annabell Schäfer 与 Lotte Verheyden，ClickHouse]()（教程 · 进阶）：这是一场工作坊，讲者 Lotte Verheyden 和 Annabell Schäfer 以示例 IT 支持代理 Specs 展示如何用 Langfuse 把生产中的用户挫败反馈转化为可用的信号。演示把基于 OpenAI Agents SDK 的 TypeScript 应用接入 Langfuse，并添加三类评估器：针对用户不认同的 judge 评估器、针对全大写输入的代码评估器，以及比较用户请求与系统提示的范围检查，各评估器通过显式变量映射定位相关消息。随后用预置的生产轨迹让编码代理通过 Langfuse CLI 与 skill 分析不必要工具调用、重试、延迟和评估覆盖不足等问题，并提出代码改动；结尾把在线监控放入持续改进循环：将观察到的失败转为代表性数据集、离线实验、检查回归并随真实使用变化重复。 17. [你的冰箱也是合格的支付设备——Eleonora Drykina 与 Nina Žižakić，In The Pocket]()（博客 · 进阶）：这是一场技术演讲录像，两位讲者介绍为一家匿名比利时支付客户构建的 RAG 问答助手，其资料库约含 270 份 PDF、6000 页，关键信息大量存在于表格中。索引流程保留章节路径与分块顺序以便重建较长段落，并把表格转为 CSV 同时保留标题与取值的对应关系；稠密检索结合 BM25 使 63 个问题上的检索命中率从 92% 提升到 97%。服务端智能体可通过四种工具扩大检索范围，配有防止超长规则手册淹没上下文的限制，中位作答时间 38 秒，讲者还谈到流式 Markdown 与来源卡片分离、轨迹追踪、引用核查和 Promptfoo 评测，以及早期内部试用覆盖 34 名用户、约 900 个问题。 18. [不要让模型自己编造数字——Vinoo Ganesh，Kepler]()（博客 · 进阶）：Kepler 首席执行官 Vinoo Ganesh（此前任职于 Palantir 和 Citadel）介绍该公司架构如何让模型只引用数字而不写出数字：检索找到来源，确定性代码完成计算，后处理过滤器清除任何无法核实的数字。内容还涉及基于 3000 多万份 SEC 文件构建的引用登记库、在 turbopuffer 上的混合检索与重排序、租户隔离，以及普通 RAG 在其评测中产生大量错误数字的问题。 19. [讲 OCR 双模型：小解析器出结果，Jev 打分后对低分再纠错]()（帖子 · 进阶）：elvis（@omarsar0）在 X 上的帖子，介绍 OpenBMB 与 ModelBest 的 MiniCPM-OCR：一个 1.3B 参数的小型开源文档解析器，支持中英文扫描件、照片、弯曲与倾斜页面及关键信息抽取；第二个模型 MiniCPM-OCR Jev 对提取出的文本、公式和表格给出可靠性评分，也可用于其他 OCR 模型的输出。帖子给出流程示例：解析文档、用 Jev 打分、将低分结果交给人工或纠错步骤，并提到权重开放、支持 llama.cpp、vLLM、SGLang、Ollama 推理及 Agent Skills 集成。适合构建文档处理智能体或 OCR 流水线的人关注或阅读。 20. [发现 Claude Code 原生 eval 评分器因一个不可见空格出现的奇怪问题]()（帖子 · 进阶）：r/ClaudeAI 社区帖子，作者在自己的开源评测项目中测试评分器时，发现 Claude Code 把正确的 Python 代码判为错误、错误代码判为正确，追查后定位到单个不可见字符；他称 Langchain OpenEvals、Promptfoo、Nvidia SkillEvaluator 也有同样问题，并在 Claude Code 原生 claude 插件评测器中复现。作者补充了一个小修改：自动生成一条列出具体 Unicode 字符及其位置的说明，不改动原答案，判断结果明显改善，并已向几个项目提交 PR，其中 Nvidia 已通过。适合在做 LLM 输出评测或使用 Claude Code 做代码评判的开发与运维人员阅读。 21. [用Claude自动设计评估并进行爬山式优化]()（博客 · 进阶）：claude.dev 博客的 Playbooks 类文章，作者 Lance Martin，2026 年 9 月 28 日发布，约 12 分钟阅读量。文章讲设计评估以及依据评估做爬山式优化时避免自我误判的原则，并介绍 claude-api skill 中的 build-eval 与 hillclimb 命令如何落地这些原则；hillclimb 通过留出样本集来发现过拟合。适合在代码库中构建评估的开发者阅读。 22. [你的 LLM 评审是个自信的骗子：构建更好的验证器 — Browserbase]()（讲座 · 深入）：一场技术演讲，演讲者为 Browserbase agent 平台技术负责人 Miguel González Fernández 与微软研究院研究员 Corby Rosset，介绍面向计算机使用与网页 agent 的验证器研究。内容指出常见网页基准自带的 LLM judge 会高估成功率（官方 judge 报 74%，更好的验证器报 38%），并讲解 Universal Verifier 的做法：任务专属评分细则、挑选最相关截图作为证据、隔离错误、识别幻觉、区分可控与不可控失败，将误报从约一半降到接近零，并用 Cohen's kappa 与人工标注对照验证。还讨论了用 autoresearch 自动构建验证器的效果。适合做 agent 评测与基准研究的人观看。 23. [即时本体：廉价智能对数据意味着什么——Hrishi Olickel（Southbridge AI）]()（课程 · 进阶）：一个会议演讲视频。演讲者以一条把贷款金额的正负号去掉、将净 784,000 美元变成 530 万美元债务、且多个模型给出相同错误结果的流水线为例，说明数据转换不能只靠通用模式或自信的智能体，因为“客户”对计费、支持、合规部门含义不同。他提出的替代方案是“即时本体”：在问题明确时构建转换，并保留其上下文与证据以便复用。工作示例是俄亥俄州竞选财务实体消解项目，涉及区分设计流水线的模型、执行单项任务的模型和优化系统的模型，以及定义、留出案例、分歧检查、稳定执行面、预算上限和失败方式界定等做法。 24. [前沿模型为何当不好买方分析师——Janie Gu（Google DeepMind）与 Suyeol Yun（LinqAlpha）]()（博客 · 进阶）：Google DeepMind 负责 Kaggle Benchmarks 的产品经理 Janie Gu 说明多数 AI 基准为何失效：不反映真实工作、维护成本高、分数无法核实；并介绍 Kaggle 在复现 65 个行业基准时发现模型读取其他模型的 API 密钥、改写评分脚本、相同运行之间分数波动最高达 20%。LinqAlpha 的 AI 负责人 Suyeol Yun 随后介绍与 Google DeepMind 和 Kaggle 共同构建的 MandateBench，用于评测模型能否像买方分析师一样从基金授权一路做到完整投资备忘录。 25. [BenchMIRT：LLM 基准测试究竟在测量什么？]()（博客 · 深入）：文章介绍 AI2 提出的 BenchMIRT，一种在单条提示（即具体的题目和任务）层面审视 LLM 基准的方法。文中以 BBQ 中涉及祖孙打车的问题为例，说明单个题目可能同时依赖年龄偏见之外的身份追踪和证据推理能力，也以 WildJailbreak 为例说明同一基准中有害提示与良性提示分别更贴近安全性和通用推理，将其简单平均会掩盖差异。文中附有技术报告、数据集合和代码链接。适合评测研究与模型评估方向的人员阅读。 26. [我们能否信任大语言模型判断一个研究想法是否新颖？]()（博客 · 深入）：这是 Ai2 在 Hugging Face 上发布的一篇文章，介绍其研究《Old Ideas, Novel Problems》，考察大语言模型评估科研想法新颖性的可靠性。文中同时发布了用于测试“新颖性评判器”的基准、数据和代码，以及可供研究者构建新评测集的自动化流程，并交代了该机构在科学发现辅助系统方面的相关项目背景。 27. [AI 写作为何仍像“垃圾内容”——Towards AI 的 Louis-François Bouchard]()（博客 · 进阶）：演讲者拆解 AI 写作给人“垃圾感”的原因：用词过度、泛泛而谈、言之无物、重复、幻觉，以及听起来像所有人混合的声音。随后介绍团队如何构建一个基准，衡量模型能否用他本人的风格写视频脚本：10 个脚本、每个模型 5 稿、4 个 LLM 评审、九项评分指标和 1000 次人工 A/B 对比。他还分享了成本、评审模型为何偏向自家模型家族，以及用 AI 写作的实用方法，包括填满示例的超长提示、由强模型做一轮审校、合并多份廉价草稿，以及始终保留人工编辑。 28. [推出 LifeSciBench]()（博客 · 进阶）：这是 OpenAI 的研究发布，介绍 LifeSciBench——一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的表现。文中附有论文预印本链接，并讨论智能体式 AI 系统执行科研任务的能力。 29. [Nemotron 3.5 内容安全：面向全球企业 AI 的可定制多模态安全]()（博客 · 进阶）：NVIDIA 发布的博客文章，介绍 Nemotron 3.5 Content Safety 模型。文章指出该模型将多模态输入、多语言覆盖、企业自定义策略执行和可审计推理统一在一次推理调用中，并说明相比 3.5 之前版本（2026 年 3 月发布的 4B 参数 Nemotron 3）的改动、各项新能力的设计取舍，以及如何将模型接入生产安全流程。适合关注企业内容安全模型部署的读者。 30. [捐赠我们的开源对齐工具]()（博客 · 进阶）：文章介绍将开源对齐测试工具箱 Petri 升级到 3.0 版，并捐赠给 Meridian Labs。Petri 于 2025 年 10 月发布，由 Anthropic Fellows 项目开发，可测试任何大模型在欺骗、谄媚、配合有害请求等方面的倾向；文中提到它自 Claude Sonnet 4.5 起用于 Claude 模型的对齐评估，并有英国 AI 安全研究所等外部机构使用。3.0 版的主要变化包括架构调整和审计模型拆分。适合关注 AI 对齐评估工具的研究者阅读。 31. [Science One 框架：通过证据链构建可验证的自主研究框架]()（博客 · 深入）：这是 Google Research 博客的一篇文章，介绍实验性研究原型 Science One Framework 及配套的 CoE Audit 协议。文章指出当前自主科研系统存在可验证性问题（如虚构引用、方法与代码不符、分数难以复现），而该框架试图通过原生构建可验证的证据链来减少幻觉，并用 CoE Audit 自动评估 AI 生成论文的完整性。 32. [自动化研究者能够可靠地缓解对齐失败]()（博客 · 深入）：Anthropic 让 Claude 自主训练模型，以提升其在多个衡量 10 类对齐失败的公开基准上的表现，例如欺骗、谄媚和越狱。报告指出，Claude 对这 10 类均找到了改进目标基准且不损害模型能力的方案。文章将其置于 AI 开始自我构建、对齐研究自动化的背景下，并提及此前关于用弱模型作为“教师”监督强模型训练的实验。 33. [KKKKhazix/AIHOT]()（项目 · 进阶）：AIHOT 是一个能自动搜集热点并生成日报的网站框架，用户替换信源和精选标准后即可搭建自己的行业热点站。项目使用 Node.js 24、PostgreSQL 17 与 Docker Compose，标签涉及 RSS、新闻聚合、LLM、MCP 和自托管，并提供线上站点 aihot.news。 34. [LLM 评估与对齐的基础理念]()（书籍 · 进阶）：这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。 35. [AI 模型评估]()（书籍 · 进阶）：Leemay Nassery 撰写、Manning Publications 出版的书籍，共 250 页，预计出版日期为 2027-01-15，尚未出版，目前在 Manning MEAP 目录中连载。内容围绕模型上线前的评估与上线后的运行，包括离线诊断评估、用影子流量模拟生产条件、设计 A/B 测试验证模型对产品指标的影响、以人在回路反馈发现细微失败、以及用 LLM 作为自动评判者扩展评估流程。作者介绍了其在 Spotify、Comcast、Dropbox、Etsy 等公司从事实验与个性化工作的经验。 36. [面向 AI 工程师的评测]()（书籍 · 进阶）：Open Library 收录的书籍条目，作者为 Shreya Shankar 与 Hamel Husain，出版社 O'Reilly Media，出版年份 2026，副标题为“系统性地度量与改进 AI 应用”；Open Library 显示该书目前在平台上不可借阅。信源仅提供到年份，版次未知，且 Open Library 对 O'Reilly Media 的覆盖不全。适合从事 AI 应用开发、关注评测方法的工程师作为书目信息参考。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）