# 在编程评测中区分信号与噪音

- 原标题：Separating signal from noise in coding evaluations
- 类型：博客
- 来源：OpenAI
- 发布时间：2026-07-08
- 首次精选：2026-10-28 16:25
- 分级：必读
- 学习层级：进阶
- 主题：[model-benchmarks](<https://oplearnx.com/md/topics/model-benchmarks.md>)（第 10 位）、[coding-agents-engineering](<https://oplearnx.com/md/topics/coding-agents-engineering.md>)（第 54 位）
- 原文链接：[https://openai.com/index/separating-signal-from-noise-coding-evaluations](<https://openai.com/index/separating-signal-from-noise-coding-evaluations>)
- 本站页面：[https://oplearnx.com/resources/pk\_89abc3b85463](<https://oplearnx.com/resources/pk_89abc3b85463>)

## 摘要

OpenAI 2026 年 7 月 8 日发布的分析文章，通过对编程基准 SWE-Bench Pro 的详细审计，称发现大量任务存在问题，并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来，讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。

## 原文涉及

- [SWE-Bench Pro: Raising the Bar for Agentic Coding](<https://scale.com/blog/swe-bench-pro>)

---
来源：LearnMap · 学径（https://oplearnx.com）