在编程评测中区分信号与噪音
Separating signal from noise in coding evaluations
OpenAI 2026 年 7 月 8 日发布的分析文章,通过对编程基准 SWE-Bench Pro 的详细审计,称发现大量任务存在问题,并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来,讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。
全部 AI 精选,可按分级、类型筛选,按关键词搜索。
Separating signal from noise in coding evaluations
OpenAI 2026 年 7 月 8 日发布的分析文章,通过对编程基准 SWE-Bench Pro 的详细审计,称发现大量任务存在问题,并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来,讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。
GPT-Red: Unlocking Self-Improvement for Robustness
OpenAI 发布的一篇安全方向文章,介绍其自动化红队系统 GPT-Red。该系统通过自我对弈训练强大的自动化安全红队,用于提升 AI 安全性、对齐和抵御提示注入的鲁棒性。页面同时提供论文 PDF 链接和提示注入对话样本,发布日期标注为 2026 年 7 月 15 日。
Safety and alignment in an era of long-horizon models
OpenAI 于 2026 年 7 月 20 日发布的安全类文章,分享在内部使用长期运行模型过程中得到的经验,涉及新的安全风险、观察到的失效情况以及通过迭代部署改进的防护措施;文中还讨论模型持久运行可能带来的安全漏洞等问题。适合关注 AI 安全与对齐的读者。
Introducing OpenAI Presence
OpenAI 于 2026 年 7 月 22 日发布的产品公告,介绍 OpenAI Presence:一个面向企业的 AI 智能体平台,帮助组织在客户与内部工作流程中部署可信的语音和聊天智能体。页面说明该产品当日即可用于语音和聊天智能体。
Scientific computing in the age of agentic AI
OpenAI 于 2026 年 7 月 28 日发布的一篇研究出版物,是一份探索性实地报告。报告介绍科学家如何使用编码智能体来更新科学计算软件,以加快基因组学及其他数据密集型领域的软件开发与研究进程;页面附有论文 PDF 链接。适合对科研工作流与 AI 智能体应用感兴趣的读者。
How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
OpenAI 于 2026 年 7 月 29 日发布的研究与论文类文章,讲述两个 API 设置如何通过保留推理内容和启用压缩(compaction),提升 GPT-5.6 在 ARC-AGI-3 基准上的表现、得分与效率。文中还讨论了智能体在记住自己已做之事时表现更好。
Scaling Laws, Carefully
这是 Lilian Weng 博客上的一篇长文,系统梳理深度学习中的缩放定律:训练损失随模型规模、数据量和计算量呈幂律下降,核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法(固定模型规模、IsoFLOP 曲线、参数化拟合)、幂律的成因,以及数据受限区间和实际拟合中的难点。
DeepSeek Sparse Attention From Scratch
Sebastian Raschka 的短笔记,说明他应一位读者贡献,在 LLMs-from-scratch 代码库中新增了 DeepSeek 稀疏注意力的从零实现。该文件夹含有 README、一个独立的 GPT 风格参考实现和测试文件;笔记说明其核心思路是用学习得到的稀疏模式取代固定稀疏模式,通过轻量索引器和选择器决定关注哪些先前 token,并链接到相关概念页和对比解释材料。
Implementing LLM Architectures From Scratch
Sebastian Raschka 的一篇短笔记,附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程:当新的开放权重模型发布时,从精简的参考实现入手,追查架构变化,并与模型卡、配置文件和已发布代码对照,以区分命名差异与真实设计改动;文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。
GLM-5.2 and IndexShare for Long-Context Sparse Attention
Sebastian Raschka 的架构笔记,说明 GLM-5.2 如何在各层之间复用稀疏注意力的 token 选择(即 IndexShare),以减少长上下文下索引器的计算量。笔记介绍 GLM-5.2 是 Z.ai GLM-5 系列的长上下文更新,沿用大部分既有架构,该系列总参数 7440 亿、每 token 激活约 400 亿,配置为 78 层、隐藏维度 6144,前三个前馈块为稠密、其余使用 256 个路由专家(每 token 选 8 个)加一个共享专家,注意力结合多头潜在注意力与 DeepSeek 稀疏注意力;上下文长度由 20 万 token 扩展至 1,048,576 token。
VibeThinker-3B and the Strength of Post-Training
Sebastian Raschka 博客文章,详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型,指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩(AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4),介绍其沿用标准 Qwen2 解码器结构及配置参数,并概述后训练配方,包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。
North Mini Code and Agentic Coding Benchmarks
Sebastian Raschka 关于 North Mini Code 的架构与基准笔记。该模型是 Cohere 推出的开放权重模型,面向仓库级软件工程、终端操作与代码生成等智能体编码任务,总参数 300 亿、每 token 激活 30 亿,采用 Apache 2.0 许可。笔记介绍其基于并行 Transformer 设计(注意力与前馈分支从同一归一化输入出发并共同加入残差流)、共 49 层、隐藏维度 2048,首层为稠密前馈,其余层使用含 128 个专家、每 token 选 8 个的稀疏 MoE;并提醒编码智能体的基准结果需结合提示格式、工具、解析器和执行环境一起看待。