# 斯坦福 CME295：Transformer 与大语言模型（2026 秋） - 原标题：Stanford CME295：Transformers & Large Language Models（2026 秋） - 类型：课程 - 来源：Stanford 课程官网 - 学期：2026 秋 - 首次精选：2026-10-29 23:09 - 分级：值得看 - 学习层级：进阶 - 主题：[reinforcement-alignment]()（第 11 位）、[neural-model-foundations]()（第 17 位）、[decoding-acceleration]()（第 24 位） - 原文链接：[https://cme295.stanford.edu/syllabus]() - 本站页面：[https://oplearnx.com/resources/pk\_1fa80a5ac4a3]() ## 摘要 这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。 ## 概览 - 难度：进阶 - 语言：英文 - 规模：9 讲 · 4 讲已上线 - 动手：无作业 · 两次考试 ## 学完你能 - 梳理 NLP 方法从 Word2vec、RNN、LSTM 到注意力机制的演变 - 解释 Transformer 架构的核心组件并贯通一个端到端示例 - 说明主流 LLM 架构家族与结构技巧（MoE、MHA/MQA/GQA、RoPE、采样策略） - 描述 LLM 训练全流程：预训练、SFT、LoRA、RLHF/DPO、蒸馏与推理 - 用策略梯度、PPO、GRPO 等强化学习方法理解 LLM 对齐与推理训练 - 了解 LLM 系统、智能体、评估、扩散语言模型等进阶主题 ## 适合你吗 - 适合：已具备线性代数与基础机器学习整体认识、想弄清 Transformer 原理的人 - 适合：想了解最新衍生架构中各类技巧的人 - 适合：关注 LLM 发展趋势、希望系统梳理训练与对齐流程的人 - 暂不适合：完全没有线性代数与机器学习基础的人 - 暂不适合：希望以动手编程实验为主学习的人（课程无作业） - 需要先会：需要微积分、线性代数基础和基本机器学习概念。 ## 课程特点 - 内容侧重：以 Transformer 与 LLM 的原理、架构与训练方法为主线，兼顾理论讲解与实际洞察。 - 练习与项目：无作业；设期中与期末两次考试，期中覆盖第 1–4 讲，期末覆盖第 5–9 讲，页面提供期中试卷与解答。 - 投入时间：每周五 15:30–17:20 面授（约 1 小时 50 分）；已发布 4 讲视频时长约 1:44:28、1:43:15、1:44:32、1:43:27。 - 费用说明：材料未说明课程费用、证书或会员安排。 ## 内容覆盖 - 第 1 讲 Transformers：NLP 背景与任务、分词、嵌入、Word2vec/RNN/LSTM、注意力机制、Transformer 架构、端到端示例 - 第 2 讲 Large Language Models：模型家族、LLM 定义与架构、专家混合、MHA/MQA/GQA、位置嵌入（RoPE 及变体）、上下文长度与温度、采样策略 - 第 3 讲 LLM training：预训练、监督微调 SFT、参数高效微调 LoRA、偏好调优（RLHF、DPO）、推理、在线策略蒸馏 OPD 及变体、蒸馏到小模型 - 第 4 讲 Reinforcement learning with LLMs：数学约定、奖励设计、策略梯度、局限、PPO 偏好调优（RLHF）、GRPO 推理（RLVR）、在线策略蒸馏 - 期中考试（覆盖第 1–4 讲） - 第 5 讲 LLM systems：分布式训练、推理优化、KV 缓存、投机解码、高效 kernel、Flash Attention、硬件权衡 - 第 6 讲 AI Agents：工具调用、MCP、记忆与检索、上下文压缩、harness 优化、编程智能体、技能与插件 - 第 7 讲 LLM evaluation：LLM-as-a-judge 概览、最佳实践与收益、偏差与陷阱、智能体评估、基准测试 - 第 8 讲 Diffusion LLMs：连续扩散、离散扩散、掩码扩散、训练、推理 - 第 9 讲 Trending topics：回顾、多模态、结语 - 期末考试（覆盖第 5–9 讲） ## 课程各讲 - [视频合集]() - [Lecture 1: Transformers]() - [Lecture 2: Large Language Models]() - [Lecture 3: LLM training]() - [Lecture 4: Reinforcement learning with LLMs]() --- 来源：LearnMap · 学径（https://oplearnx.com）