dwarkesh.com··1 个月前
预训练进展主要来自数据
Pretraining progress is mostly coming from data
一项小规模实证研究，考察 2019 至 2025 年 AI 进步中数据与模型改进各自的贡献。做法是逐年组合当年的公开模型配方与公开数据语料，在不超过 1e19 FLOPs 的算力规模下训练，并用 OLMES 评测（聚合 10 个较简单的基准）衡量最终能力。结果显示，同期来自数据的算力效率提升约为模型侧的 3.24 倍。适合关心预训练效率来源与前沿实验室经济学的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-11-02
推荐阅读
Google Research 的 Harness2——递归式智能体 Harnessing
Harness2 by Google Research – Recursive Agent Harnessing
这是 Google Research 发布的框架 Harness²，用于开放世界中的递归式智能体 harnessing。它把 harness（围绕模型的提示、工具、记忆、技能、编排等系统）和 harnessing（优化该系统）在模型权重固定的前提下分两个层级递归进行，并给出任务级递归的定义。仓库包含 arXiv 论文链接、项目网站、基准指南文档、演示 GIF 与 Apache 2.0 许可证，示例流程涉及 JobBench 基准的安装与运行命令。
GPU 利用率从 15% 到 90%：修数据管线，而不是修模型
From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model
这是 Amazon AGI 的 Tarun Sunkaraneni 的演讲，说明多模态训练中最难的部分常不是 GPU，而是持续喂数据。在 S3 中存储图像训练 Qwen3-VL 类模型的基线管线里，约 85% 时间花在等数据上，主要是逐张加载、解码和缩放图像。他逐一处理瓶颈：用 asyncio 和 Ray actor 做并发、预取让数据在训练器请求前就绪、用 Ray 对象存储避免在进程间复制大图像张量；到了生产规模，单机网卡成为新瓶颈，通过把 worker 分散到多节点并使用零拷贝读取，又获得约 50% 吞吐提升。还讨论了 GIL 下 asyncio、线程与进程的取舍，以及某些配置只在规模化时才有收益。适合做多模态数据管线与 Ray 训练的工程师观看。
PRX 第四部分：我们的数据策略
PRX Part 4: Our Data Strategy
Photoroom 的 PRX 系列第四篇，前几篇分别涉及模型架构、训练设计和 24 小时速通，本篇聚焦数据。文中概述其数据流水线：从公开和内部数据集的混合中汇集训练数据，用 VLM 重新为图像生成描述，并转化为可流式读取的语料用于训练 PRX；还介绍了以覆盖面和多样性为目标的预训练数据原则，以及作者会做得不同的地方。
MilleMiglia：面向中段运输物流的真实算例生成器
MilleMiglia: A realistic instance generator for middle-mile logistics
介绍 MilleMiglia，一个开源的、贴近实际的基准算例生成器，用于填补学术理论与工业物流之间的差距，帮助研究者优化复杂的中段运输网络。文章指出物流研究长期集中在第一英里（生产者到初始集散点）和最后一英里（配送到消费者），两者通常建模为车辆路径问题（VRP）的变体，而负责区域或洲际范围内配送中心之间大批量货物运输的中段运输在运筹学中受到的关注明显较少，尽管它占总物流开支的相当大比例。文中附有论文和代码链接。
审慎地理解缩放定律
Scaling Laws, Carefully
这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。
用 AutoResearch 玩参数高尔夫——Vayum Arora、Zhengyao Jiang、Dixing Xu 与 Dhruv Srikanth，Weco AI
Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI
Weco AI 的工作坊把“提出改动—评估—保留更好结果”的研究循环做成可动手的实验，用 Mini Parameter Golf 让训练实验小到可以边跑边检查。Zhengyao Jiang 介绍自动研究作为反复提出与评估的过程，Dixing Xu 讲解团队的 Aiden 系统及其在 OpenAI Parameter Golf 挑战中的工作，另两位讲者则演示由可修改源文件、固定评估命令和可度量目标组成的实用配置。内容涉及评估要快且稳定、指标方向明确、时间限制、初始引导和防止奖励作弊，并展示实验树、分支和转向正在运行的搜索。最后用一个 Flappy Bird 控制器任务替换模型训练，配有隐藏验证集和编辑权限限制。
原文涉及
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness（新标签页打开）arxiv.org
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints（新标签页打开）arxiv.org
- Algorithmic progress in language models（新标签页打开）arxiv.org
- 2 OLMo 2 Furious（新标签页打开）arxiv.org
- On the Origin of Algorithmic Progress in AI（新标签页打开）arxiv.org