学习预训练、数据配比、合成数据和训练效率，适合模型训练实践者。
16 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Building Blocks for Foundation Model Training and Inference on AWS
Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。
MIT：Introduction to Data-Centric AI（2024）
MIT CSAIL 于 2024 年 IAP 开设的“Introduction to Data-Centric AI”课程网站，页面称这是首个关于数据为中心 AI（DCAI）的课程。课程主张除改进模型外，改进数据集本身往往也是提升实际机器学习表现的最佳途径，并把数据改进从依赖试错与直觉的手工做法变成系统性的工程学科；内容侧重监督学习（如分类）中用于发现和修复数据问题、构建更好数据集的算法，强调实用而非模型数学细节，目的是缓解“垃圾进、垃圾出”问题。日程列出了数据为中心与模型为中心 AI、标签错误与置信学习等主题。
Generalized Language Models
Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。
Thinking about High-Quality Human Data
Lilian Weng 在个人博客 Lil'Log 上发布的文章，讨论高质量数据对深度学习模型训练的重要性，以及人类标注数据采集中的质量问题。文中从两个方向展开：人类标注者与数据质量，包括任务设计、标注者筛选与培训、群体智慧、标注者一致性与分歧及两种范式；数据质量与模型训练，包括影响函数、训练过程中的预测变化与带噪交叉验证。文末附引用文献，并致谢 Ian Kivlichan 提供线索与反馈。适合关注数据标注、RLHF 数据与模型训练数据质量的人阅读。
Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。
What's the hardest part of creating edge cases for fine-tuning open-weight models? [D]
r/MachineLearning 的讨论帖，提出问题：在为开放权重模型微调、重点提升边缘案例处理能力时，如何发现稀有或异常的边缘案例、如何在已有数据集上改造出更专门化的案例、样本是手写还是用模型合成或从真实数据挖掘、如何控制质量、如何判断覆盖度是否足够，以及是否有加入更多边缘案例反而使模型变差的经历。适合正在做开放权重模型微调数据构建的人阅读。
ScaffoldCoT Dataset Updates: Maintainance, a new agent-focused dataset for small models, and a new model in training built around the datasets!
这是一篇作者在 r/LocalLLaMA 发布的项目更新帖，介绍 ScaffoldCoT 数据集的最新变动：项目更名为 Scaffold Chat，移除了全部工具调用示例（约 27.6 万条），现有 3,450,159 条样本、16 个领域、75 个分片、约 13GB；同时发布约 10 亿 token 的真实执行编码智能体会话数据集 Scaffold Agent，并预告一个基于这些数据训练的 5–10B 模型。适合关注开源数据集构建、小模型智能体训练与数据清洗的人阅读。
Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training
这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。
Scaling Laws, Carefully
这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。
这是一个 PyTorch 优化器包装器项目，名为 OPAL（OPtimizer with an Agent in the Loop）。它让编码智能体在模型训练过程中持续改写优化器：用户用一行代码包装现有优化器，智能体（Claude Code）定期读取运行报告，决定是否重写把梯度转为更新的优化器程序，以及用于衡量指标的析程序。标签包括深度学习、LLM 智能体、优化器、PyTorch。
Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core
NVIDIA 技术博客的一篇文章，介绍 Megatron-LM PR #7262 提出的工作流：记录各 rank 有序的张量指纹，用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复；在三项 Nemotron 工作负载上优化后，在 2,432 块 GPU 上把确定性开销降至约 2%，并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动，在保持并行的同时恢复确定性结果；Megatron Core 通过配方验证、内核测试和跨并行配置（含 FP8、FP4）的模块验证来防止回退。
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
这是一篇 Reddit r/LocalLLaMA 社区帖子，作者从零训练了 Apex-3：20.99B 参数 MoE、每 token 激活 3.36B，64 个路由专家加 1 个共享专家（top-4），使用 SuperBPE 分词器，在 GH200 上用 Muon 和 DiLoCo 训练，无外部预训练权重，并放出稳定 checkpoint 供他人继续训练。帖子聚焦训练日志中的现象，主要报告上下文学习（归纳头）在约 0.33B token 内出现约 5 倍增长的明显相变，以及算术任务最终准确率 0.655–0.665 等数据。适合从零训练小型 MoE、关注训练动力学与涌现能力观察的人阅读。
NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models
这是 NVIDIA 博客文章，介绍 Cosmos 平台的扩展，包括新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图，用于帮助开发者构建理解并模拟现实世界的世界模型，服务于物理 AI 系统。文中提到 Cosmos Curator 新增多模态多感官输入支持，并列出五个云原生蓝图，如自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成等，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取。适合从事世界模型与物理 AI 数据工作的开发者读者。
SensorFM: Towards a general intelligence and interface for wearable health data
这是 Google 高级研究科学家 Xin Liu 和 Daniel McDuff 于 2026 年 7 月 9 日发布的博客，介绍可穿戴健康基础模型 SensorFM。该模型用来自 500 万人的超过一万亿分钟传感器数据预训练，可迁移到 35 项健康预测任务，支持标签高效适配与数据补全，并可作为个人健康智能体的基础工具。文中还提到个体生理差异大、标注数据获取昂贵等难点。
A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
富国银行的 Freddy Lecue 介绍该行如何用数十亿客户交易数据（而非文本）从零预训练自有 transformer 模型，通过预测下一笔交易学习表示，再针对欺诈检测、信用额度、反洗钱和营销等任务微调。内容涵盖把金额、时间、商户、邮编等表格数据转化为 token 的难点，以及模型规模、训练设置和欺诈检测结果。
斯坦福大学 2026 年春季 CS336 “Language Modeling from Scratch” 课程主页，授课教师为 Tatsunori Hashimoto 和 Percy Liang，另列有多名课程助理及各自的答疑时间，课程录像发布在 YouTube 播放列表。页面介绍课程定位：语言模型是现代自然语言处理应用的基础，课程通过带学生走完开发语言模型的完整流程，帮助其全面理解语言模型。页面还提供往期开课（2025 春、2024 春）链接和课程联系方式说明。课程涉及大规模模型训练，适合具备深度学习与系统实现基础、希望深入理解语言模型构建过程的人了解。