更多博客

OpenAI3 个月前

博客必读进阶

在编程评测中区分信号与噪音

Separating signal from noise in coding evaluations

AI 导读

OpenAI 2026 年 7 月 8 日发布的分析文章，通过对编程基准 SWE-Bench Pro 的详细审计，称发现大量任务存在问题，并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来，讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。

打开原文
收录时间
2026-10-28
博客发布 06-17
OpenAI

推出 LifeSciBench

Introducing LifeSciBench

这是 OpenAI 的研究发布，介绍 LifeSciBench——一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的表现。文中附有论文预印本链接，并讨论智能体式 AI 系统执行科研任务的能力。

进阶模型基准与比较科学研究与医疗
查看详情 →
博客发布 05-12
OpenAI

Parameter Golf 教给我们的关于 AI 辅助研究的事

What Parameter Golf taught us about AI-assisted research

OpenAI 于 2026 年 5 月 12 日发布的研究文章，回顾名为 Parameter Golf 的开放机器学习挑战：该活动吸引 1000 多名参与者、2000 多份提交，在严格约束下探索 AI 辅助机器学习研究、编程智能体、量化与新型模型设计。文中还设有“技术印象”和“纪录赛道”等小节，分享相关经验。

进阶模型量化编程智能体
查看详情 →
博客发布 10-15
Anthropic

Anthropic 关于独立评估方的最新通报

Anthropic update on independent evaluators

Anthropic 公告，说明其引入独立第三方评估方的进展：已开始向非营利机构 METR 的团队提供类似员工的访问权限，METR 将公开发布其风险评估结果；此外还与 SecureBio、Accenture 合作评估，并与 Hugging Face 等其他机构进行早期商谈。文中还提到此前的承诺及签署的《Super Intelligence 白宫协议》，并解释了为何要与独立评估方合作，包括模型能力增强带来的更强安全防护需求和公开问责考量。

入门模型基准与比较隐私与风险治理
查看详情 →
博客发布 10-20
Anthropic

用 Claude 缩减代码的攻击面

Using Claude to reduce the attack surface of code

Anthropic 的一篇文章，介绍用 AI 模型进行自动化攻击面分析与缩减的初步研究，即先梳理可达代码，再移除或限制某次部署不需要暴露的访问。文中预告了他们用 Claude 对大型开源代码库应用这类技术所收集的数据。

进阶攻击与安全防护编程智能体
查看详情 →
博客发布 2021-11-03
code.visualstudio.com

构建新版 GitHub Copilot 内联建议模型：第一部分

Building the new GitHub Copilot Inline Suggestions Model: Part One

这是 VS Code 官方博客系列的第一篇，介绍 GitHub Copilot 内联建议的三种形态：补全式幽灵文本、光标附近的下一处编辑建议和远距离编辑，此前各由专门的模型路径支持。文中提到过去 90 天内超过 610 亿次成功的模型请求，并说明团队已将三者统一到一个“3-in-1”模型。适合关注 Copilot 内联建议模型演进的人阅读。

进阶编程智能体
查看详情 →
博客发布 06-30
OpenAI

推出 GeneBench-Pro

Introducing GeneBench-Pro

OpenAI 2026 年 6 月 30 日发布的文章，介绍 GeneBench-Pro 这一研究级基准，用于测试 AI 智能体在计算生物学中面对模糊信息、做出重要判断的能力，覆盖基因组学、定量生物学和转化医学等更复杂、更贴近现实的任务。该基准是对 GeneBench 的扩展。内容面向关注 AI 科学评测的研究人员。

进阶模型基准与比较科学研究与医疗
查看详情 →

原文涉及