# 预训练与数据 学习预训练、数据配比、合成数据和训练效率，适合模型训练实践者。 - 所属：[模型原理与训练]() - 网站：[https://oplearnx.com/topics/pretraining-data]() ## 推荐学习顺序 1. [在 AWS 上进行基础模型训练与推理的构建模块]()（博客 · 入门）：Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。 2. [MIT：以数据为中心的 AI 导论（2024）]()（课程 · 进阶）：MIT CSAIL 于 2024 年 IAP 开设的“Introduction to Data-Centric AI”课程网站，页面称这是首个关于数据为中心 AI（DCAI）的课程。课程主张除改进模型外，改进数据集本身往往也是提升实际机器学习表现的最佳途径，并把数据改进从依赖试错与直觉的手工做法变成系统性的工程学科；内容侧重监督学习（如分类）中用于发现和修复数据问题、构建更好数据集的算法，强调实用而非模型数学细节，目的是缓解“垃圾进、垃圾出”问题。日程列出了数据为中心与模型为中心 AI、标签错误与置信学习等主题。 3. [广义语言模型]()（博客 · 进阶）：Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。 4. [思考高质量人类数据]()（博客 · 进阶）：Lilian Weng 在个人博客 Lil'Log 上发布的文章，讨论高质量数据对深度学习模型训练的重要性，以及人类标注数据采集中的质量问题。文中从两个方向展开：人类标注者与数据质量，包括任务设计、标注者筛选与培训、群体智慧、标注者一致性与分歧及两种范式；数据质量与模型训练，包括影响函数、训练过程中的预测变化与带噪交叉验证。文末附引用文献，并致谢 Ian Kivlichan 提供线索与反馈。适合关注数据标注、RLHF 数据与模型训练数据质量的人阅读。 5. [讲 H-Nets 从原始字节学习，规模化可省约十倍数据与算力]()（帖子 · 深入）：Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。 6. [为开放权重模型微调构造边缘案例，最难的部分是什么？\[D\]]()（帖子 · 进阶）：r/MachineLearning 的讨论帖，提出问题：在为开放权重模型微调、重点提升边缘案例处理能力时，如何发现稀有或异常的边缘案例、如何在已有数据集上改造出更专门化的案例、样本是手写还是用模型合成或从真实数据挖掘、如何控制质量、如何判断覆盖度是否足够，以及是否有加入更多边缘案例反而使模型变差的经历。适合正在做开放权重模型微调数据构建的人阅读。 7. [ScaffoldCoT 数据集更新：维护、面向小模型的新智能体数据集，以及一个围绕这些数据集训练的正在训练中的新模型]()（帖子 · 进阶）：这是一篇作者在 r/LocalLLaMA 发布的项目更新帖，介绍 ScaffoldCoT 数据集的最新变动：项目更名为 Scaffold Chat，移除了全部工具调用示例（约 27.6 万条），现有 3,450,159 条样本、16 个领域、75 个分片、约 13GB；同时发布约 10 亿 token 的真实执行编码智能体会话数据集 Scaffold Agent，并预告一个基于这些数据训练的 5–10B 模型。适合关注开源数据集构建、小模型智能体训练与数据清洗的人阅读。 8. [斯坦福 CME295 Transformer 与大语言模型 \| 2026 年秋季 \| 第 3 讲 — LLM 训练]()（课程 · 深入）：这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。 9. [审慎地理解缩放定律]()（博客 · 深入）：这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。 10. [xingjian-bai/opal]()（项目 · 深入）：这是一个 PyTorch 优化器包装器项目，名为 OPAL（OPtimizer with an Agent in the Loop）。它让编码智能体在模型训练过程中持续改写优化器：用户用一行代码包装现有优化器，智能体（Claude Code）定期读取运行报告，决定是否重写把梯度转为更新的优化器程序，以及用于衡量指标的析程序。标签包括深度学习、LLM 智能体、优化器、PyTorch。 11. [使用 NVIDIA Megatron Core 扩展按位确定性预训练]()（博客 · 深入）：NVIDIA 技术博客的一篇文章，介绍 Megatron-LM PR \#7262 提出的工作流：记录各 rank 有序的张量指纹，用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复；在三项 Nemotron 工作负载上优化后，在 2,432 块 GPU 上把确定性开销降至约 2%，并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动，在保持并行的同时恢复确定性结果；Megatron Core 通过配方验证、内核测试和跨并行配置（含 FP8、FP4）的模块验证来防止回退。 12. [我从零训练了一个 21B MoE（激活 3.36B），用了 70B token（涌现能力观察）]()（帖子 · 深入）：这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。 13. [英伟达 Cosmos 开放训练、评测与部署世界模型的新工具]()（博客 · 进阶）：这是 NVIDIA 博客文章，介绍 Cosmos 平台的扩展，包括新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图，用于帮助开发者构建理解并模拟现实世界的世界模型，服务于物理 AI 系统。文中提到 Cosmos Curator 新增多模态多感官输入支持，并列出五个云原生蓝图，如自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成等，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取。适合从事世界模型与物理 AI 数据工作的开发者读者。 14. [SensorFM：面向可穿戴健康数据的通用智能与接口]()（博客 · 深入）：这是 Google 高级研究科学家 Xin Liu 和 Daniel McDuff 于 2026 年 7 月 9 日发布的博客，介绍可穿戴健康基础模型 SensorFM。该模型用来自 500 万人的超过一万亿分钟传感器数据预训练，可迁移到 35 项健康预测任务，支持标签高效适配与数据补全，并可作为个人健康智能体的基础工具。文中还提到个体生理差异大、标注数据获取昂贵等难点。 15. [一家银行训练了自己的基础模型来识别欺诈——Freddy Lecue，富国银行]()（博客 · 深入）：富国银行的 Freddy Lecue 介绍该行如何用数十亿客户交易数据（而非文本）从零预训练自有 transformer 模型，通过预测下一笔交易学习表示，再针对欺诈检测、信用额度、反洗钱和营销等任务微调。内容涵盖把金额、时间、商户、邮编等表格数据转化为 token 的难点，以及模型规模、训练设置和欺诈检测结果。 16. [斯坦福 CS336：从零构建语言模型（2026 春）]()（课程 · 深入）：斯坦福大学 2026 年春季 CS336 “Language Modeling from Scratch” 课程主页，授课教师为 Tatsunori Hashimoto 和 Percy Liang，另列有多名课程助理及各自的答疑时间，课程录像发布在 YouTube 播放列表。页面介绍课程定位：语言模型是现代自然语言处理应用的基础，课程通过带学生走完开发语言模型的完整流程，帮助其全面理解语言模型。页面还提供往期开课（2025 春、2024 春）链接和课程联系方式说明。课程涉及大规模模型训练，适合具备深度学习与系统实现基础、希望深入理解语言模型构建过程的人了解。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）