更多课程
课程进阶

从零构建推理模型:完整视频课程

Building Reasoning Models from the Ground Up: A Full Video Course

AI 导读

这是 Ahead of AI 作者发布的配套视频课程介绍,包含 8 个从零构建推理模型的编程视频,共约 11 小时,用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发,实现评估与改进该模型的方法,是其此前《从零编程 LLM》课程的续篇,但不需要先修该课程。适合希望动手理解推理模型内部机制的人。

分级
值得看
收录时间
2026-10-26
难度
进阶
语言
英文
规模
8 讲 · 11 小时
费用
免费
动手
配套代码 · 逐讲编码

学完你能

  • 说清常规 LLM、推理模型与 agent harness 之间的关系
  • 在 Python 与 PyTorch 中加载 Qwen3 0.6B 预训练权重并实现流式文本生成
  • 加入 KV 缓存与 torch.compile 提升文本生成效率
  • 构建数学答案验证器,并在 MATH-500 上评估模型
  • 实现温度缩放、多项式采样、top-p 过滤与自一致性等推理时扩展方法
  • 实现评分函数与自我精炼循环
  • 实现简化版 GRPO 训练循环,用于可验证奖励的强化学习
  • 通过蒸馏强教师模型的答案训练小型推理模型

适合你吗

适合

  • 熟悉 Python 与 PyTorch、希望从零实现推理模型方法的读者
  • 想理解推理时扩展、强化学习与蒸馏具体实现的开发者
  • 希望配合《Build a Reasoning Model (From Scratch)》一书边读边写代码的人

暂不适合

  • 需要入门级概念概览、不想动手写代码的人
  • 只想了解推理模型原理而无需实现细节的人
  • 无法使用 GPU 做后段训练实验的读者

需要先会

需要熟悉 Python 与 PyTorch;此前的 Build a Large Language Model (From Scratch) 内容为推荐但非必需。

课程特点

内容侧重
以代码实现为主线,覆盖评估、推理时扩展、可验证奖励的强化学习与蒸馏。
练习与项目
逐讲编码实现,附各章配套代码仓库;书中有练习,课程建议自行暂停做小实验。
投入时间
8 讲共约 11 小时;早期文本生成与评估示例可在 CPU 上运行,后期训练实验建议使用 GPU。
费用说明
视频与讲义文章可直接观看;配套书《Build a Reasoning Model (From Scratch)》需另行购买(Manning、Amazon 有售,印刷版为彩色)。

内容覆盖

  • 1. 动机与代码环境搭建
  • 2. 加载基座模型、文本生成与 KV 缓存
  • 3. 构建用于评估与强化学习的验证器
  • 4. 推理时扩展:采样与自一致性
  • 5. 推理时扩展:评分与自我精炼
  • 6. 强化学习:实现 GRPO 用于 RLVR
  • 7. 强化学习:训练跟踪、截断策略比率与 KL 项
  • 8. 蒸馏推理模型

课程各讲

已上线 8 讲

  1. Watch video 1(新标签页打开)
  2. Watch video 2(新标签页打开)
  3. Watch video 3(新标签页打开)
  4. Watch video 4(新标签页打开)
  5. Watch video 5(新标签页打开)
  6. Watch video 6(新标签页打开)
  7. Watch video 7(新标签页打开)
  8. Watch video 8(新标签页打开)