# 预训练进展主要来自数据

- 原标题：Pretraining progress is mostly coming from data
- 类型：博客
- 来源：dwarkesh.com
- 发布时间：2026-09-09
- 首次精选：2026-11-02 01:09
- 分级：值得看
- 学习层级：深入
- 主题：[pretraining-data](<https://oplearnx.com/md/topics/pretraining-data.md>)（第 8 位）、[model-benchmarks](<https://oplearnx.com/md/topics/model-benchmarks.md>)（第 51 位）
- 原文链接：[https://dwarkesh.com/p/pretraining-progress-is-mostly-data](<https://dwarkesh.com/p/pretraining-progress-is-mostly-data>)
- 本站页面：[https://oplearnx.com/resources/pk\_7aea2d3527cb](<https://oplearnx.com/resources/pk_7aea2d3527cb>)

## 摘要

一项小规模实证研究，考察 2019 至 2025 年 AI 进步中数据与模型改进各自的贡献。做法是逐年组合当年的公开模型配方与公开数据语料，在不超过 1e19 FLOPs 的算力规模下训练，并用 OLMES 评测（聚合 10 个较简单的基准）衡量最终能力。结果显示，同期来自数据的算力效率提升约为模型侧的 3.24 倍。适合关心预训练效率来源与前沿实验室经济学的人阅读。

## 原文涉及

- [FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness](<https://arxiv.org/abs/2205.14135>)
- [GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints](<https://arxiv.org/abs/2305.13245>)
- [Algorithmic progress in language models](<https://arxiv.org/abs/2403.05812>)
- [2 OLMo 2 Furious](<https://arxiv.org/abs/2501.00656>)
- [On the Origin of Algorithmic Progress in AI](<https://arxiv.org/abs/2511.21622>)

---
来源：LearnMap · 学径（https://oplearnx.com）