捐赠我们的开源对齐工具

中文精读

原文约 739 词 · 4 节

1. 捐赠我们的开源对齐工具

   • 2025 年 10 月，Anthropic 发布开源对齐测试工具箱 Petri，可应用于任何大语言模型，用于快速、简便地检测模型是否出现欺骗、谄媚、配合有害请求等令人担忧的倾向。
   • Petri 是在 Anthropic Fellows 项目中开发出来的，属于开发开放、对整个 AI 开发社区有用的对齐工具的努力之一。
   • 自 Claude Sonnet 4.5 起，Petri 已纳入每个 Claude 模型的对齐评估：由独立的“审计者”（auditor）模型模拟一系列与对齐相关的场景，再由“评审者”（judge）模型对对话记录打分，识别失调行为。
   • 外部机构也在使用 Petri，例如英国人工智能安全研究所（AISI）将其作为评估模型“破坏 AI 研究”倾向的重要组成部分。
   • Petri 3.0 有三项主要变化。适应性：架构调整，把审计者模型与目标模型拆成可分别调整的独立组件，以适配更多用途。
   • 真实性：研究者虽努力让测试显得真实，模型仍常能从布置中的人为痕迹判断自己正被测试；一旦模型意识到被评估，研究者就无法看到它的一般行为，新增插件 Dish 用模型真实的系统提示与真实“脚手架”（scaffold，包裹模型以助其达成目标的软件）来运行测试，使部署场景更接近真实。

2. 捐赠我们的开源对齐工具（续）

   • 深度：Petri 与另一开源对齐工具 Bloom 集成，后者能对特定选定行为做更深入的评估，与 Petri 覆盖面更广的思路互补。

3. 捐赠我们的开源对齐工具（续）

   • Anthropic 已将 Petri 的开发移交（hand over）给 AI 评估非营利组织 Meridian Labs，为 Petri 安了新家。
   • 这一举动类似当初把模型上下文协议（MCP）捐赠给 Linux 基金会，目的是让 Petri 保持独立于任何 AI 实验室，使其结果被业界内外视为中立、可信。
   • 作为 Meridian Labs 的一部分，Petri 与 Inspect、Scout 等工具一道，构成一套对实验室、独立研究者和政府都开放的技术栈；此时可靠的模型行为测试比以往更重要。
   • 更多关于 Petri 3.0 的内容见 Meridian Labs 博客；安装与使用说明见 Petri 网站。

4. 我们的使命

   • Anthropic 是一家公益公司（Public Benefit Corporation），使命是确保世界安全地度过变革性 AI 带来的转型。