学习预训练、数据配比、合成数据和训练效率，适合模型训练实践者。
16 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Building Blocks for Foundation Model Training and Inference on AWS
Hugging Face 上由亚马逊作者 Keita Watanabe、Pavel Belevich、Aman Shanbhag 撰写、2026 年 5 月 11 日发布的企业类文章，讨论在 AWS 上训练和推理基础模型的构建模块。文章从 Kaplan 等人 2020 年关于缩放定律的研究出发，引用英伟达“从一个到三个缩放定律”的框架，说明除预训练外，后训练（如监督微调和强化学习方法）与测试时计算也在推动性能提升，并据此讨论基础模型生命周期。
Generalized Language Models
Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。
Thinking about High-Quality Human Data
Lilian Weng 在个人博客 Lil'Log 上发布的文章，讨论高质量数据对深度学习模型训练的重要性，以及人类标注数据采集中的质量问题。文中从两个方向展开：人类标注者与数据质量，包括任务设计、标注者筛选与培训、群体智慧、标注者一致性与分歧及两种范式；数据质量与模型训练，包括影响函数、训练过程中的预测变化与带噪交叉验证。文末附引用文献，并致谢 Ian Kivlichan 提供线索与反馈。适合关注数据标注、RLHF 数据与模型训练数据质量的人阅读。
Scaling Laws, Carefully
这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。
Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core
NVIDIA 技术博客的一篇文章，介绍 Megatron-LM PR #7262 提出的工作流：记录各 rank 有序的张量指纹，用于定位并修复大规模预训练中的非确定性。文中说明按位确定性可支持故障重放、loss 尖峰调试、系统变更验证以及中断的万亿参数训练恢复；在三项 Nemotron 工作负载上优化后，在 2,432 块 GPU 上把确定性开销降至约 2%，并在 800 步内保持按位确定性。还提到通过为 grouped-GEMM 写入者分配私有输出槽位、采用固定归约顺序等内核级改动，在保持并行的同时恢复确定性结果；Megatron Core 通过配方验证、内核测试和跨并行配置（含 FP8、FP4）的模块验证来防止回退。
NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models
这是 NVIDIA 博客文章，介绍 Cosmos 平台的扩展，包括新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图，用于帮助开发者构建理解并模拟现实世界的世界模型，服务于物理 AI 系统。文中提到 Cosmos Curator 新增多模态多感官输入支持，并列出五个云原生蓝图，如自动驾驶数据集生成、图像属性增强、事件视频生成、缺陷图像生成等，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取。适合从事世界模型与物理 AI 数据工作的开发者读者。
SensorFM: Towards a general intelligence and interface for wearable health data
这是 Google 高级研究科学家 Xin Liu 和 Daniel McDuff 于 2026 年 7 月 9 日发布的博客，介绍可穿戴健康基础模型 SensorFM。该模型用来自 500 万人的超过一万亿分钟传感器数据预训练，可迁移到 35 项健康预测任务，支持标签高效适配与数据补全，并可作为个人健康智能体的基础工具。文中还提到个体生理差异大、标注数据获取昂贵等难点。
A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo
富国银行的 Freddy Lecue 介绍该行如何用数十亿客户交易数据（而非文本）从零预训练自有 transformer 模型，通过预测下一笔交易学习表示，再针对欺诈检测、信用额度、反洗钱和营销等任务微调。内容涵盖把金额、时间、商户、邮编等表格数据转化为 token 的难点，以及模型规模、训练设置和欺诈检测结果。