为两用知识装一个“关闭开关”

中文精读

原文约 1,191 词 · 5 节

1. 为 AI 模型中的双用途知识装一个“关闭开关”

   • 前置模型（frontier AI model）本身是一个巨大的知识库，其中一部分知识属“双用途”（dual use）：既能用于做好事，也能用于做坏事。文章举了网络安全（可修补漏洞也可利用漏洞）与病毒学（可研发疫苗也可设计致命病原体）两个例子。
   • 理想状态要同时平衡三个目标：尽可能精准地限制双用途能力的获取；允许可信用户为正当目的使用同一能力；且不影响模型在其他任何任务上的表现。
   • 现有防护不完美：训练模型拒绝有害请求、用分类器筛查输入输出，这些只防住危险输出，不改变底层模型存储的知识；足够执着的攻击者仍可能通过越狱（jailbreak）绕过防御拿到双用途知识。
   • 更稳妥的思路是控制模型“知道什么”。此前工作包括从预训练数据中过滤化学、生物、放射、核武器信息，以及把双用途知识限制在模型权重中可移除的一个切片里。
   • 但过滤是把钝刀：它只产出一个能力固定的模型；若要同时有“能谈高级病毒学”和“不能谈”的版本，就必须训练两个模型，对昂贵的前沿模型而言成本高到开发者难以承受。
   • 新方法名为 GRAM（Gradient-Routed Auxiliary Modules，梯度路由辅助模块），由 AE Studio 与 Anthropic 合作完成，目标是以训练一个模型的成本获得多个分别过滤的模型的好处。文中强调结果为初步结果，GRAM 尚未用于 Anthropic 的任何生产模型，也未必会用。

2. GRAM 的工作方式

   • 核心思路：为每一类双用途知识给模型配备专用的、可移除的“隔间”，并只在这些隔间上从双用途数据中学习。
   • 具体做法是在标准 Transformer 的每一层增加额外神经元，这些神经元被分组为若干“模块”（module），每个双用途类别对应一个模块。
   • 训练时遇到通用文本，模型按常规方式学习；遇到某一双用途类别（如病毒学）的文本时，模型可以用通用知识做预测，但只有该类别对应的模块被允许从这些文本中学习，通用权重被临时冻结。
   • 结果是病毒学知识积累在病毒学模块中，而不会扩散到整个网络。训练完成后直接删除该模块，相应能力随之消失；也可保留模块，用于需要该知识的可信部署。
   • 实验中定义了四个双用途类别，因此一次 GRAM 训练产出的模型可配置成 16 种形态（每个类别各自“开”或“关”）。

3. 测试 GRAM

   • 测试按真实程度递增分三种设置。第一种用带主题标签的儿童故事合成数据集：小型 GRAM 模型可重新配置为“遗忘”任一选定主题，每种配置的表现几乎等同于专门过滤掉该主题、从头训练的独立模型。
   • 第二种在更大模型上使用网页文本、代码与科学论文的真实混合数据，设四个双用途领域：病毒学、网络安全、核物理，以及一门小众编程语言（作为专业双用途代码的替代）。
   • 每个双用途领域的能力被路由到自己的模块；删除模块移除对应能力的有效程度，与从未在该数据上训练过相当，且这一移除没有损害通用表现。
   • 抗恢复测试：攻击者用少量恶意数据微调试图恢复被移除的知识时，GRAM 的抵抗力与数据过滤大致相当；相比之下，训练后施加的“遗忘学习”（unlearning）技术只是压制了知识，少量微调即可轻易恢复。
   • 第三种在 5000 万到 50 亿参数的七个模型规模上运行。GRAM 在每个规模上都与数据过滤表现相当，且“模块开”与“模块关”之间的差距随模型变大而变宽；从算力成本看，规模扩大后绕过防护变得相对更难、更贵。

4. 结论

   • 随着 AI 公司训练能力更强的模型，限制双用途能力获取的需求会上升。当前公司靠分类器和拒绝训练来限制获取，但这些防护很难在不损害无害请求表现的前提下做到稳健。
   • GRAM 一类方法提供了通往更稳健的访问控制的潜在路径。
   • 这是早期研究，局限明确：尚未在前沿规模或生产训练流程中测试，也未用于任何 Claude 模型；评估以预测下一个词元的能力衡量，而非真实下游任务表现。
   • 还有一个更深的开放问题（同样适用于数据过滤和 GRAM 这类方法）：某些双用途能力可能与通用知识纠缠过深，没有任何方法能干净地分开。

5. 脚注

   • 一个技术细节：在学习通用文本时，病毒学模块有时也会被打开；文中发现这样有助于各模块更有效地“协同工作”。