课程进阶
斯坦福 CME295：Transformer 与大语言模型（2026 秋）
这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。
- 分级
- 值得看
- 收录时间
- 2026-10-29
- 难度
- 进阶
- 语言
- 英文
- 规模
- 9 讲 · 4 讲已上线
- 动手
- 无作业 · 两次考试
学完你能
- 梳理 NLP 方法从 Word2vec、RNN、LSTM 到注意力机制的演变
- 解释 Transformer 架构的核心组件并贯通一个端到端示例
- 说明主流 LLM 架构家族与结构技巧（MoE、MHA/MQA/GQA、RoPE、采样策略）
- 描述 LLM 训练全流程：预训练、SFT、LoRA、RLHF/DPO、蒸馏与推理
- 用策略梯度、PPO、GRPO 等强化学习方法理解 LLM 对齐与推理训练
- 了解 LLM 系统、智能体、评估、扩散语言模型等进阶主题
适合你吗
适合
- 已具备线性代数与基础机器学习整体认识、想弄清 Transformer 原理的人
- 想了解最新衍生架构中各类技巧的人
- 关注 LLM 发展趋势、希望系统梳理训练与对齐流程的人
暂不适合
- 完全没有线性代数与机器学习基础的人
- 希望以动手编程实验为主学习的人（课程无作业）
需要先会
需要微积分、线性代数基础和基本机器学习概念。
课程特点
- 内容侧重
- 以 Transformer 与 LLM 的原理、架构与训练方法为主线，兼顾理论讲解与实际洞察。
- 练习与项目
- 无作业；设期中与期末两次考试，期中覆盖第 1–4 讲，期末覆盖第 5–9 讲，页面提供期中试卷与解答。
- 投入时间
- 每周五 15:30–17:20 面授（约 1 小时 50 分）；已发布 4 讲视频时长约 1:44:28、1:43:15、1:44:32、1:43:27。
- 费用说明
- 材料未说明课程费用、证书或会员安排。
内容覆盖
- 第 1 讲 Transformers：NLP 背景与任务、分词、嵌入、Word2vec/RNN/LSTM、注意力机制、Transformer 架构、端到端示例
- 第 2 讲 Large Language Models：模型家族、LLM 定义与架构、专家混合、MHA/MQA/GQA、位置嵌入（RoPE 及变体）、上下文长度与温度、采样策略
- 第 3 讲 LLM training：预训练、监督微调 SFT、参数高效微调 LoRA、偏好调优（RLHF、DPO）、推理、在线策略蒸馏 OPD 及变体、蒸馏到小模型
- 第 4 讲 Reinforcement learning with LLMs：数学约定、奖励设计、策略梯度、局限、PPO 偏好调优（RLHF）、GRPO 推理（RLVR）、在线策略蒸馏
- 期中考试（覆盖第 1–4 讲）
- 第 5 讲 LLM systems：分布式训练、推理优化、KV 缓存、投机解码、高效 kernel、Flash Attention、硬件权衡
- 第 6 讲 AI Agents：工具调用、MCP、记忆与检索、上下文压缩、harness 优化、编程智能体、技能与插件
- 第 7 讲 LLM evaluation：LLM-as-a-judge 概览、最佳实践与收益、偏差与陷阱、智能体评估、基准测试
- 第 8 讲 Diffusion LLMs：连续扩散、离散扩散、掩码扩散、训练、推理
- 第 9 讲 Trending topics：回顾、多模态、结语
- 期末考试（覆盖第 5–9 讲）
课程各讲
已上线 4 讲 · YouTube 视频合集（新标签页打开）