OpenAI··3 个月前
长时程模型时代的安全与对齐
Safety and alignment in an era of long-horizon models
OpenAI 于 2026 年 7 月 20 日发布的安全类文章，分享在内部使用长期运行模型过程中得到的经验，涉及新的安全风险、观察到的失效情况以及通过迭代部署改进的防护措施；文中还讨论模型持久运行可能带来的安全漏洞等问题。适合关注 AI 安全与对齐的读者。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
Fable 5 的网络安全防护与我们的越狱框架
Fable 5's cyber safeguards and our jailbreak framework
文章在 Claude Fable 5 重新上线之际介绍两方面内容：一是随模型推出的网络安全防护，即检测和阻止危险或潜在危险网络安全用途的安全分类器，并详细列出其设计上要防止和不针对的危害类型；二是与 Glasswing 合作伙伴共同制定的 AI 越狱严重程度框架初稿，说明越狱是绕过模型防护的非常规提示方式，严重程度不一，目前尚无公认框架。适合关注 AI 安全防护与越狱评估的读者。
我们如何在各产品中约束 Claude
How we contain Claude across products
Anthropic 的文章，讨论智能体能力增强后潜在影响范围随之扩大，并介绍其为 claude.ai、Claude Code 和 Cowork 构建约束机制的经验。文中把部署风险分为失败可能性和单次失误可造成的损害两部分，指出前者随防护与模型训练进展下降，而理论影响范围只随能力和权限扩张而增大，因此工程问题在于如何限制影响范围。
启用两个设置如何让我们在 ARC-AGI-3 基准上的得分增至三倍
How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
OpenAI 于 2026 年 7 月 29 日发布的研究与论文类文章，讲述两个 API 设置如何通过保留推理内容和启用压缩（compaction），提升 GPT-5.6 在 ARC-AGI-3 基准上的表现、得分与效率。文中还讨论了智能体在记住自己已做之事时表现更好。
Patch the Planet：Daybreak 支持开源维护者的计划
Patch the Planet: a Daybreak initiative to support open source maintainers
这是 OpenAI 的公告，介绍 Patch the Planet 这一 Daybreak 计划，与 Trail of Bits 合作，帮助开源软件维护者用 AI 辅助安全研究和专家人工审查来发现、验证并修补漏洞。文中描述安全工程师会在发现结果送达维护者前先行审查，并与项目合作开发补丁和测试、建立可复用的工作流。
英伟达推进媒体领域的智能体安全，从欧洲公共广播到全球内容生产
NVIDIA Advances Agentic Security for Media, From European Public Service Broadcasting to Global Content Production
这是 NVIDIA 博客文章，介绍在柏林一场由 Adobe、Bertelsmann、NVIDIA 和 UFA 合作举办的创意产业活动上公布的进展。主要内容是欧洲广播联盟（EBU）与 NVIDIA 合作，在去年提出的主权标准基础上引入主权云服务商、开放模型开发者和系统集成商，界定广播机构部署智能体时的数据、基础设施、模型与安全控制方式；同时 Adobe Frame.io 借助 NVIDIA GPU 加速视频智能体搜索，供德国影视制作公司 UFA 使用。适合关注媒体行业智能体部署与数据主权议题的读者。
一个接近自主的 AI 化学家改进了药物化学中一项颇具挑战的反应
A near-autonomous AI chemist improves a challenging reaction in medicinal chemistry
这是 OpenAI 与 Molecule.one 合作的研究发布，介绍一个使用 GPT-5.4、接近自主运行的 AI 化学家（Molecule.one 的 Maria）改进了关键药物合成反应。文中称其找到一种出人意料的添加剂，使测试的 80% 以上底物的 Chan-Lam 偶联产率提升，并附有论文和思维链摘要链接。