课程进阶
从零构建推理模型:完整视频课程
Building Reasoning Models from the Ground Up: A Full Video Course
这是 Ahead of AI 作者发布的配套视频课程介绍,包含 8 个从零构建推理模型的编程视频,共约 11 小时,用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发,实现评估与改进该模型的方法,是其此前《从零编程 LLM》课程的续篇,但不需要先修该课程。适合希望动手理解推理模型内部机制的人。
- 分级
- 值得看
- 收录时间
- 2026-10-26
- 难度
- 进阶
- 语言
- 英文
- 规模
- 8 讲 · 11 小时
- 费用
- 免费
- 动手
- 配套代码 · 逐讲编码
学完你能
- 说清常规 LLM、推理模型与 agent harness 之间的关系
- 在 Python 与 PyTorch 中加载 Qwen3 0.6B 预训练权重并实现流式文本生成
- 加入 KV 缓存与 torch.compile 提升文本生成效率
- 构建数学答案验证器,并在 MATH-500 上评估模型
- 实现温度缩放、多项式采样、top-p 过滤与自一致性等推理时扩展方法
- 实现评分函数与自我精炼循环
- 实现简化版 GRPO 训练循环,用于可验证奖励的强化学习
- 通过蒸馏强教师模型的答案训练小型推理模型
适合你吗
适合
- 熟悉 Python 与 PyTorch、希望从零实现推理模型方法的读者
- 想理解推理时扩展、强化学习与蒸馏具体实现的开发者
- 希望配合《Build a Reasoning Model (From Scratch)》一书边读边写代码的人
暂不适合
- 需要入门级概念概览、不想动手写代码的人
- 只想了解推理模型原理而无需实现细节的人
- 无法使用 GPU 做后段训练实验的读者
需要先会
需要熟悉 Python 与 PyTorch;此前的 Build a Large Language Model (From Scratch) 内容为推荐但非必需。
课程特点
- 内容侧重
- 以代码实现为主线,覆盖评估、推理时扩展、可验证奖励的强化学习与蒸馏。
- 练习与项目
- 逐讲编码实现,附各章配套代码仓库;书中有练习,课程建议自行暂停做小实验。
- 投入时间
- 8 讲共约 11 小时;早期文本生成与评估示例可在 CPU 上运行,后期训练实验建议使用 GPU。
- 费用说明
- 视频与讲义文章可直接观看;配套书《Build a Reasoning Model (From Scratch)》需另行购买(Manning、Amazon 有售,印刷版为彩色)。
内容覆盖
- 1. 动机与代码环境搭建
- 2. 加载基座模型、文本生成与 KV 缓存
- 3. 构建用于评估与强化学习的验证器
- 4. 推理时扩展:采样与自一致性
- 5. 推理时扩展:评分与自我精炼
- 6. 强化学习:实现 GRPO 用于 RLVR
- 7. 强化学习:训练跟踪、截断策略比率与 KL 项
- 8. 蒸馏推理模型
课程各讲
已上线 8 讲