学习奖励、偏好优化和智能体后训练，适合模型训练与对齐研究者。
30 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
Building Reasoning Models from the Ground Up: A Full Video Course
这是 Ahead of AI 作者发布的配套视频课程介绍，包含 8 个从零构建推理模型的编程视频，共约 11 小时，用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发，实现评估与改进该模型的方法，是其此前《从零编程 LLM》课程的续篇，但不需要先修该课程。适合希望动手理解推理模型内部机制的人。
Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training
这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。
这是斯坦福 CME295 课程的 2026 年秋季教学大纲页，按日期列出了各次讲座主题并附幻灯片和视频链接。内容依次包括 Transformer（分词、词嵌入、word2vec/RNN/LSTM、注意力机制与架构）、大语言模型（模型家族、混合专家、MHA/MQA/GQA、RoPE 位置嵌入、上下文长度与采样策略）、LLM 训练（预训练、SFT、LoRA、RLHF/DPO、推理、同策略蒸馏）、基于强化学习的 LLM 训练（奖励设计、策略梯度、PPO、GRPO）、LLM 系统（分布式训练、KV 缓存、投机解码、Flash Attention），以及 AI 智能体（工具调用、MCP、记忆与检索、上下文压缩、编码智能体等）；10 月 23 日为期中考试。适合想了解 Transformer 与 LLM 技术栈课程结构的人阅读。
这是斯坦福大学 CS234 强化学习课程 2026 年冬季学期的课程网站，包含课程安排、讲义材料、作业、课程项目和论坛等栏目。课程介绍强化学习这一让自主系统学会做决策的方法及其在机器人、游戏、消费者建模和医疗等领域的应用，内容涵盖泛化与探索等核心挑战，作业涉及强化学习基础、深度强化学习以及基于人类反馈的强化学习基础。课程由 Emma Brunskill 讲授，先修要求为熟练掌握 Python。
斯坦福大学一门课程主页，从计算角度讲不确定性下的决策，介绍构建自主系统与决策支持系统所需的工具。内容涵盖概率模型与决策理论、随机动态下的求解方法、模型不确定性与不完整状态信息，涉及贝叶斯网络、影响图、动态规划、强化学习与部分可观测马尔可夫决策过程，应用包括空中交通管制、航空监视、自动驾驶与行星机器人探索。先修要求为基本概率与一门高级编程语言；页面注明讲座不要求到场、习题课仅在 Zoom 进行、考试为线下。适合具备概率与编程基础、想系统学习不确定性下决策方法的学生和开发者。
Harvard CS1810：Machine Learning（2026）
哈佛大学 2026 年 CS1810 机器学习课程主页，授课教师为 David Alvarez-Melis 和 Yilun Du，上课时间为周二、周四 9:45–11:00，地点 SEC 1.321。课程对机器学习、概率推理和不确定环境下的决策做广泛而严谨的介绍，讨论常见算法的动机及其适用于特定任务的性质，要求推导多种方法的数学基础并将其应用于真实数据。主题包括监督学习、集成方法与提升、神经网络、支持向量机、核方法、聚类与无监督学习、最大似然、图模型、隐马尔可夫模型、推断方法、强化学习。课程面向高年级本科生，要求能编写较复杂程序、具备概率论基础并熟悉微积分与线性代数，提供的脚手架代码均为 Python。
斯坦福 CS229 机器学习课程 2026 夏季学期的课程主页，授课教师为 Jehangir Amjad 和 Anand Avati，并列出助教名单。页面给出课程介绍（监督学习、无监督学习、学习理论、强化学习及各类应用）、上课时间地点（周二、周四 16:30–18:15，NVIDIA Auditorium）以及先修要求：具备 Python/NumPy 编程能力（相当于 CS106A/B）、概率论（相当于 CS109 或 MATH151）、多变量微积分与线性代数（相当于 MATH51 或 CS205L）。相关链接需用斯坦福邮箱登录访问。
斯坦福大学 CS329A“Self-Improving AI Agents”2025 年秋季课程主页，教师为 Aakanksha Chowdhery 和 Azalia Mirhoseini。课程介绍称其涵盖智能体通过与自身及环境交互持续自我提升的技术，包括宪法式 AI、使用验证器、测试时计算扩展、搜索与 LLM 结合、基于 RL 的训练时扩展，以及工具使用、代码、记忆增强、多模态能力编排、多步推理与规划、鲁棒评估框架等；课程以阅读最新论文、课堂讨论和原创研究项目为主，并邀请学界与业界讲者分享编码智能体、STEM 研究助手、机器人自主系统等应用。课程时间为周一、周五 16:30–17:50（太平洋时间），地点 Skilling Auditorium。
这是卡内基梅隆大学 10-703 深度强化学习课程的课程网站，课程综合计算机视觉、机器人控制、强化学习和语言理解等方向，讨论如何构建能感知世界并通过模仿、最大化稀疏奖励或满足好奇心来学习行动的智能体。课程目标包括实现和实验现有方法、评估其样本复杂度与泛化性、理解机器人学习领域论文等。页面列出先修要求：算法、概率、计算机视觉、深度学习（TensorFlow 与 PyTorch）、矩阵微积分和编程基础。