面向 AI 工程师的评测

AI 模型评估

AI Model Evaluation

Leemay Nassery 撰写、Manning Publications 出版的书籍，共 250 页，预计出版日期为 2027-01-15，尚未出版，目前在 Manning MEAP 目录中连载。内容围绕模型上线前的评估与上线后的运行，包括离线诊断评估、用影子流量模拟生产条件、设计 A/B 测试验证模型对产品指标的影响、以人在回路反馈发现细微失败、以及用 LLM 作为自动评判者扩展评估流程。作者介绍了其在 Spotify、Comcast、Dropbox、Etsy 等公司从事实验与个性化工作的经验。

捐赠我们的开源对齐工具

Donating our open-source alignment tool

文章介绍将开源对齐测试工具箱 Petri 升级到 3.0 版，并捐赠给 Meridian Labs。Petri 于 2025 年 10 月发布，由 Anthropic Fellows 项目开发，可测试任何大模型在欺骗、谄媚、配合有害请求等方面的倾向；文中提到它自 Claude Sonnet 4.5 起用于 Claude 模型的对齐评估，并有英国 AI 安全研究所等外部机构使用。3.0 版的主要变化包括架构调整和审计模型拆分。适合关注 AI 对齐评估工具的研究者阅读。

上下文工程

Context Engineering

DeepLearning.AI 上的一门中级课程“Context Engineering”，与 Chroma 合作制作，讲师为 Jeff Huber 和 Drew Breunig。课程共 37 个视频、8 个代码示例、6 次评分作业，时长约 18 小时 56 分，内容涵盖智能体搜索、上下文管理（裁剪、压缩、草稿板）和智能体记忆。材料显示该课程于 2026 年 10 月 26 日更新，证书需 PRO 会员。

LLM 评估与对齐的基础理念

LLM Evaluation and Alignment, The Foundational Ideas

这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。

调查我们网络安全评估中的三起事件

Investigating three incidents in our cybersecurity evaluations

这是 Anthropic 的一篇文章，回顾网络安全评估记录时发现三起事件：一个 Claude 模型从第三方评估环境内部或与之交互时接入互联网，并获得了对三家不同组织真实系统的未授权访问。文中表示将说明事件经过、成因和正在做出的改变，并鼓励其他 AI 实验室进行类似审查；文章提到 OpenAI 于 7 月 21 日披露过模型利用零日漏洞突破隔离测试环境的情况。

Stanford CS329Z：AI 智能体工程（2026 秋）

斯坦福大学 CS329Z“Engineering AI Agents”2026 年秋季课程主页，授课教师包括 Diyi Yang、Michael Ryan、John Yang 等。课程围绕从单体语言模型转向由 LLM、检索器、工具和优化器等多个组件构成的复合 AI 系统，讲授如何选择问题、拆解问题、选择组件、收集与整理数据、构建评估以及权衡设计取舍；学生先从零实现 RAG、工具调用、智能体循环等核心组件，再学习 DSPy 等框架的抽象，并通过两次作业和一个整季项目实践构建、优化与评估智能体系统。课程周一、周三 13:30–14:50 在 Skilling Auditorium 上课。