OpenAI··5 个月前
Parameter Golf 教给我们的关于 AI 辅助研究的事
What Parameter Golf taught us about AI-assisted research
OpenAI 于 2026 年 5 月 12 日发布的研究文章，回顾名为 Parameter Golf 的开放机器学习挑战：该活动吸引 1000 多名参与者、2000 多份提交，在严格约束下探索 AI 辅助机器学习研究、编程智能体、量化与新型模型设计。文中还设有“技术印象”和“纪录赛道”等小节，分享相关经验。
- 分级
- 值得看
- 收录时间
- 2026-10-28
推荐阅读
构建新版 GitHub Copilot 内联建议模型：第一部分
Building the new GitHub Copilot Inline Suggestions Model: Part One
这是 VS Code 官方博客系列的第一篇，介绍 GitHub Copilot 内联建议的三种形态：补全式幽灵文本、光标附近的下一处编辑建议和远距离编辑，此前各由专门的模型路径支持。文中提到过去 90 天内超过 610 亿次成功的模型请求，并说明团队已将三者统一到一个“3-in-1”模型。适合关注 Copilot 内联建议模型演进的人阅读。
从 GPT-2 到 gpt-oss：架构进展分析
From GPT-2 to gpt-oss: Analyzing the Architectural Advances
Sebastian Raschka 于 2025 年 8 月 9 日发布的文章，围绕 OpenAI 新发布的开权重模型 gpt-oss-120b 与 gpt-oss-20b，基于代码与技术报告总结架构细节。内容包括与 GPT-2 的架构对比、用于把模型放进单张 GPU 的 MXFP4 优化、宽度与深度的取舍（与 Qwen3 对比）、注意力偏置与 attention sinks、基准比较，文末简要讨论 GPT-5。
在编程评测中区分信号与噪音
Separating signal from noise in coding evaluations
OpenAI 2026 年 7 月 8 日发布的分析文章，通过对编程基准 SWE-Bench Pro 的详细审计，称发现大量任务存在问题，并估计约 30% 的任务是有缺陷的。文章将此与 OpenAI 此前对 SWE-bench Verified 的调查联系起来，讨论评测缺陷会影响对模型能力的判断、安全评估与研究优先级。
单块 3090 跑 27B：10 万 token 处仍达 110+ TPS，上下文可达 400k
110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx
这是一篇 Reddit r/LocalLLaMA 社区帖子，介绍 LlamAmpere v0.6 版本发布内容：TPS 提升约 13%（100–105K token 区间平均 112 TPS）、提示处理提升约 20%（前 10 万 token 平均预填充从约 1080 提升到约 1300 TPS）、推出新的 Ampere Integer+ 文件格式并与 XS、EXL3 作 KLD 与速度对比，以及借助 SJKVaRN 在约 23.5GB 占用下实现超过 400K 总上下文。适合在单块 3090 上运行本地推理、关注量化格式与长上下文性能的人阅读。
量化与快速推理
Quantization and Fast Inference
这是 Manning Publications 出版的图书，作者为 Vivek Kalyanarangan，共 339 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称该书介绍在不重新设计架构、不做任务特定压缩的情况下优化 AI 模型的量化技术，涵盖量化基础、PTQ 与 QAT 生产流程及压缩部署，并讨论 LLM 激活异常值、KV 缓存压力和 NF4、FP4 等低于 8 位格式的权衡。
构建新版 GitHub Copilot 内联建议模型：第二部分
Building the new GitHub Copilot Inline Suggestions Model: Part Two
这是 VS Code 官方博客系列的第二篇，讲述把补全式幽灵文本、光标附近的下一处编辑建议和较远位置的编辑统一到单个“3-in-1”模型的过程。文中说明此前分别由独立模型负责，并指出统一后一次请求可覆盖多种代码编辑行为，减少模型调用与服务复杂度。适合关注 Copilot 内联建议实现与编辑器 AI 设计的人阅读。