Claude 从对话就知道需不需要封号

AI 导读

一条微博帖子，介绍 Anthropic 技术博客中描述的“自我评估”（self-assessment）方法：Claude 每次回复后在系统追加指令下输出一段 JSON，标注对话是否有风险、风险类别、是否需人工优先审核等，用户不可见。帖子还引述了算力开销（整体推理额外消耗不到 2%）、不同规模模型的召回表现、对训练中未见滥用类型的识别情况，以及 8 月、9 月的两起实际标记案例和红队测试中防护效果的局限，Anthropic 将其定位为离线监控层。适合关注大模型安全监控、内容风控与模型部署的人阅读。