OpenAI··5 个月前
可信第三方评估的共同操作指南
A shared playbook for trustworthy third party evaluations
OpenAI 于 2026 年 5 月 29 日发布的文章,分享关于第三方 AI 评估的指导意见,涉及如何评估前沿模型的能力、防护措施与评估有效性。文章指出独立可信的第三方评估对安全生态的作用,并谈到早期评估把模型当作聊天机器人、而当前前沿模型能使用工具、跨多步保持信息并在一整套工作流中行动,因此表现还取决于任务环境和配置。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
yuatemycat/SuperGhidra
GitHub 仓库,项目自述为面向 Ghidra 的 Python 工具集:自主智能体逆向工程、无锁 Ghidra 守护进程及 C++ 恢复套件,采用 AGPL-3.0-or-later 许可,要求 Python 3.10 以上。其功能描述包括让 Ghidra 的脚本编写更快、把反编译原始输出改写为可编译的 C,以及执行 Ghidra 未自带的静态分析(如 MSVC RTTI),并提供 MCP 集成;标签涉及 arm64、x86-64、P-code、Z3/SMT 求解等。
面向自我改进的框架工程(Harness Engineering for Self-Improvement)
Harness Engineering for Self-Improvement
Lilian Weng 的一篇博客文章,主题是递归自我改进(RSI)。文章从 I. J. Good(1965)提出的“超智能机器”与 Yudkowsky(2008)的 RSI 定义讲起,讨论现代 AI 中这一反馈回路的含义,包括模型改写自身权重,或改进训练流程与部署系统从而产生更强的后继模型,并提及前沿实验室研究加速的情况。
用于审计机器遗忘的新框架
New framework for auditing machine unlearning
这是 Google 研究科学家 Mónica Ribero 于 2026 年 6 月 10 日发布的博客,介绍一种判断两组数据观察是否来自完全不同的底层分布、且具统计显著性的方法。文中提到机器遗忘对 GDPR 等法规合规、AI 安全与模型质量的意义,以及审计者往往只能通过查询模型并分析输出样本进行验证,其中用到双样本检验。
把数据库评分转化为强化学习奖励:用 ThinkingBox 对智能体进行后训练
Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox
这是此前博客的后续,介绍已在 GitHub 上发布的 ThinkingBox-Training。作者用比较最终数据库状态与预期结果的方式评估智能体工作,并把同类的可执行信号用作 ThinkingBox-Bench 之外训练任务的奖励。文中报告对 Qwen3.8-27B 经 50 步 GRPO 后平均成功率从 51.70% 升至 60.78%,二十次尝试全部正确的任务数从 38 增至 107;ThinkingBox-Bench 包含 507 项任务。
为开放 ASR 排行榜加上防刷分机制
Adding Benchmaxxer Repellant to the Open ASR Leaderboard
Hugging Face 博客文章,由 Eric Bezzam、Steven、Eustache Le Bihan 及 Appen、DataoceanAI 等作者撰写。文章说明 Appen 与 DataoceanAI 提供了覆盖多种口音、包含脚本与非脚本语音的高质量英语 ASR 数据集,为防止刷榜(benchmaxxing)或测试集污染,这些数据集将保持私有;排行榜默认平均 WER 仍只基于公开数据集计算,用户可通过开关选择是否纳入私有数据集查看其影响。
用 Claude 发现密码学弱点
Discovering cryptographic weaknesses with Claude
Anthropic 研究人员的文章,介绍借助 Claude Mythos Preview 发现的两种改进后的密码算法攻击方法:一是显著削弱为后量子时代设计的数字签名方案 HAWK,二是给出攻击轮数缩减版 AES 的新途径。文章称这些属于研究层面的进展,目前不影响任何生产系统,并讨论了强大 AI 模型时代的密码学含义。