斯坦福 CME295 Transformer 与大语言模型 | 2026 年秋季 | 第 3 讲 — LLM 训练

斯坦福 CME295：Transformer 与大语言模型（2026 秋）

这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。

审慎地理解缩放定律

Scaling Laws, Carefully

这是 Lilian Weng 博客上的一篇长文，系统梳理深度学习中的缩放定律：训练损失随模型规模、数据量和计算量呈幂律下降，核心问题是如何在模型规模与数据量之间最优分配算力。文章目录涵盖 Kaplan 与 Chinchilla 的结论及其调和、三种拟合方法（固定模型规模、IsoFLOP 曲线、参数化拟合）、幂律的成因，以及数据受限区间和实际拟合中的难点。

思考高质量人类数据

Thinking about High-Quality Human Data

Lilian Weng 在个人博客 Lil'Log 上发布的文章，讨论高质量数据对深度学习模型训练的重要性，以及人类标注数据采集中的质量问题。文中从两个方向展开：人类标注者与数据质量，包括任务设计、标注者筛选与培训、群体智慧、标注者一致性与分歧及两种范式；数据质量与模型训练，包括影响函数、训练过程中的预测变化与带噪交叉验证。文末附引用文献，并致谢 Ian Kivlichan 提供线索与反馈。适合关注数据标注、RLHF 数据与模型训练数据质量的人阅读。

改进 LoRA：从零实现权重分解低秩适应（DoRA）

Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch

Sebastian Raschka 的文章，先回顾 LoRA 的工作原理，再介绍新提出的 DoRA（权重分解低秩适应）方法，并在 PyTorch 中从零实现 LoRA 与 DoRA 两种方法。适合想理解这两种微调技术实现细节的读者。

ScaffoldCoT 数据集更新：维护、面向小模型的新智能体数据集，以及一个围绕这些数据集训练的正在训练中的新模型

ScaffoldCoT Dataset Updates: Maintainance, a new agent-focused dataset for small models, and a new model in training built around the datasets!

这是一篇作者在 r/LocalLLaMA 发布的项目更新帖，介绍 ScaffoldCoT 数据集的最新变动：项目更名为 Scaffold Chat，移除了全部工具调用示例（约 27.6 万条），现有 3,450,159 条样本、16 个领域、75 个分片、约 13GB；同时发布约 10 亿 token 的真实执行编码智能体会话数据集 Scaffold Agent，并预告一个基于这些数据训练的 5–10B 模型。适合关注开源数据集构建、小模型智能体训练与数据清洗的人阅读。