自动化研究者能够可靠地缓解对齐失败

Automated researchers can reliably mitigate alignment failures

AI 导读

Anthropic 让 Claude 自主训练模型，以提升其在多个衡量 10 类对齐失败的公开基准上的表现，例如欺骗、谄媚和越狱。报告指出，Claude 对这 10 类均找到了改进目标基准且不损害模型能力的方案。文章将其置于 AI 开始自我构建、对齐研究自动化的背景下，并提及此前关于用弱模型作为“教师”监督强模型训练的实验。