# 为两用知识装一个“关闭开关” - 原标题：An off switch for dual-use knowledge - 类型：博客 - 来源：Anthropic - 发布时间：2026-07-08 - 首次精选：2026-10-28 16:25 - 分级：值得看 - 学习层级：深入 - 主题：[model-interpretability]()（第 13 位）、[ai-attacks-defense]()（第 30 位） - 原文链接：[https://anthropic.com/research/off-switch-dual-use]() - 本站页面：[https://oplearnx.com/resources/pk\_b0d5675b0551]() ## 摘要 文章介绍 AE Studio 与 Anthropic 合作开展的一项研究，提出一种控制潜在危险 AI 能力访问的方法（GRAM）。文中以网络安全和病毒学知识为例说明“两用知识”的概念，并提出三个目标：精准限制两用能力访问、允许可信用户用于正当用途、不影响模型在其他任务上的表现，同时指出当前拒绝训练和分类器筛查等防护手段并不改变模型内部存储的知识。适合对 AI 能力管控和模型安全研究感兴趣的读者。 ## 中文精读 ### 1. 为 AI 模型中的双用途知识装一个“关闭开关” - 前置模型（frontier AI model）本身是一个巨大的知识库，其中一部分知识属“双用途”（dual use）：既能用于做好事，也能用于做坏事。文章举了网络安全（可修补漏洞也可利用漏洞）与病毒学（可研发疫苗也可设计致命病原体）两个例子。 - 理想状态要同时平衡三个目标：尽可能精准地限制双用途能力的获取；允许可信用户为正当目的使用同一能力；且不影响模型在其他任何任务上的表现。 - 现有防护不完美：训练模型拒绝有害请求、用分类器筛查输入输出，这些只防住危险输出，不改变底层模型存储的知识；足够执着的攻击者仍可能通过越狱（jailbreak）绕过防御拿到双用途知识。 - 更稳妥的思路是控制模型“知道什么”。此前工作包括从预训练数据中过滤化学、生物、放射、核武器信息，以及把双用途知识限制在模型权重中可移除的一个切片里。 - 但过滤是把钝刀：它只产出一个能力固定的模型；若要同时有“能谈高级病毒学”和“不能谈”的版本，就必须训练两个模型，对昂贵的前沿模型而言成本高到开发者难以承受。 - 新方法名为 GRAM（Gradient-Routed Auxiliary Modules，梯度路由辅助模块），由 AE Studio 与 Anthropic 合作完成，目标是以训练一个模型的成本获得多个分别过滤的模型的好处。文中强调结果为初步结果，GRAM 尚未用于 Anthropic 的任何生产模型，也未必会用。 ### 2. GRAM 的工作方式 - 核心思路：为每一类双用途知识给模型配备专用的、可移除的“隔间”，并只在这些隔间上从双用途数据中学习。 - 具体做法是在标准 Transformer 的每一层增加额外神经元，这些神经元被分组为若干“模块”（module），每个双用途类别对应一个模块。 - 训练时遇到通用文本，模型按常规方式学习；遇到某一双用途类别（如病毒学）的文本时，模型可以用通用知识做预测，但只有该类别对应的模块被允许从这些文本中学习，通用权重被临时冻结。 - 结果是病毒学知识积累在病毒学模块中，而不会扩散到整个网络。训练完成后直接删除该模块，相应能力随之消失；也可保留模块，用于需要该知识的可信部署。 - 实验中定义了四个双用途类别，因此一次 GRAM 训练产出的模型可配置成 16 种形态（每个类别各自“开”或“关”）。 ### 3. 测试 GRAM - 测试按真实程度递增分三种设置。第一种用带主题标签的儿童故事合成数据集：小型 GRAM 模型可重新配置为“遗忘”任一选定主题，每种配置的表现几乎等同于专门过滤掉该主题、从头训练的独立模型。 - 第二种在更大模型上使用网页文本、代码与科学论文的真实混合数据，设四个双用途领域：病毒学、网络安全、核物理，以及一门小众编程语言（作为专业双用途代码的替代）。 - 每个双用途领域的能力被路由到自己的模块；删除模块移除对应能力的有效程度，与从未在该数据上训练过相当，且这一移除没有损害通用表现。 - 抗恢复测试：攻击者用少量恶意数据微调试图恢复被移除的知识时，GRAM 的抵抗力与数据过滤大致相当；相比之下，训练后施加的“遗忘学习”（unlearning）技术只是压制了知识，少量微调即可轻易恢复。 - 第三种在 5000 万到 50 亿参数的七个模型规模上运行。GRAM 在每个规模上都与数据过滤表现相当，且“模块开”与“模块关”之间的差距随模型变大而变宽；从算力成本看，规模扩大后绕过防护变得相对更难、更贵。 ### 4. 结论 - 随着 AI 公司训练能力更强的模型，限制双用途能力获取的需求会上升。当前公司靠分类器和拒绝训练来限制获取，但这些防护很难在不损害无害请求表现的前提下做到稳健。 - GRAM 一类方法提供了通往更稳健的访问控制的潜在路径。 - 这是早期研究，局限明确：尚未在前沿规模或生产训练流程中测试，也未用于任何 Claude 模型；评估以预测下一个词元的能力衡量，而非真实下游任务表现。 - 还有一个更深的开放问题（同样适用于数据过滤和 GRAM 这类方法）：某些双用途能力可能与通用知识纠缠过深，没有任何方法能干净地分开。 ### 5. 脚注 - 一个技术细节：在学习通用文本时，病毒学模块有时也会被打开；文中发现这样有助于各模块更有效地“协同工作”。 --- 来源：LearnMap · 学径（https://oplearnx.com）