# 从零构建推理模型：完整视频课程

- 原标题：Building Reasoning Models from the Ground Up: A Full Video Course
- 类型：课程
- 来源：Sebastian Raschka
- 学期：未标注
- 首次精选：2026-10-26 15:43
- 分级：值得看
- 学习层级：进阶
- 主题：[model-distillation](<https://oplearnx.com/md/topics/model-distillation.md>)（第 3 位）、[reasoning-continual-learning](<https://oplearnx.com/md/topics/reasoning-continual-learning.md>)（第 5 位）、[reinforcement-alignment](<https://oplearnx.com/md/topics/reinforcement-alignment.md>)（第 8 位）
- 原文链接：[https://magazine.sebastianraschka.com/p/building-reasoning-models](<https://magazine.sebastianraschka.com/p/building-reasoning-models>)
- 本站页面：[https://oplearnx.com/resources/pk\_945c96b58911](<https://oplearnx.com/resources/pk_945c96b58911>)

## 摘要

这是 Ahead of AI 作者发布的配套视频课程介绍，包含 8 个从零构建推理模型的编程视频，共约 11 小时，用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发，实现评估与改进该模型的方法，是其此前《从零编程 LLM》课程的续篇，但不需要先修该课程。适合希望动手理解推理模型内部机制的人。

## 概览

- 难度：进阶
- 语言：英文
- 规模：8 讲 · 11 小时
- 费用：免费
- 动手：配套代码 · 逐讲编码

## 学完你能

- 说清常规 LLM、推理模型与 agent harness 之间的关系
- 在 Python 与 PyTorch 中加载 Qwen3 0.6B 预训练权重并实现流式文本生成
- 加入 KV 缓存与 torch.compile 提升文本生成效率
- 构建数学答案验证器，并在 MATH-500 上评估模型
- 实现温度缩放、多项式采样、top-p 过滤与自一致性等推理时扩展方法
- 实现评分函数与自我精炼循环
- 实现简化版 GRPO 训练循环，用于可验证奖励的强化学习
- 通过蒸馏强教师模型的答案训练小型推理模型

## 适合你吗

- 适合：熟悉 Python 与 PyTorch、希望从零实现推理模型方法的读者
- 适合：想理解推理时扩展、强化学习与蒸馏具体实现的开发者
- 适合：希望配合《Build a Reasoning Model \(From Scratch\)》一书边读边写代码的人
- 暂不适合：需要入门级概念概览、不想动手写代码的人
- 暂不适合：只想了解推理模型原理而无需实现细节的人
- 暂不适合：无法使用 GPU 做后段训练实验的读者
- 需要先会：需要熟悉 Python 与 PyTorch；此前的 Build a Large Language Model \(From Scratch\) 内容为推荐但非必需。

## 课程特点

- 内容侧重：以代码实现为主线，覆盖评估、推理时扩展、可验证奖励的强化学习与蒸馏。
- 练习与项目：逐讲编码实现，附各章配套代码仓库；书中有练习，课程建议自行暂停做小实验。
- 投入时间：8 讲共约 11 小时；早期文本生成与评估示例可在 CPU 上运行，后期训练实验建议使用 GPU。
- 费用说明：视频与讲义文章可直接观看；配套书《Build a Reasoning Model \(From Scratch\)》需另行购买（Manning、Amazon 有售，印刷版为彩色）。

## 内容覆盖

- 1. 动机与代码环境搭建
- 2. 加载基座模型、文本生成与 KV 缓存
- 3. 构建用于评估与强化学习的验证器
- 4. 推理时扩展：采样与自一致性
- 5. 推理时扩展：评分与自我精炼
- 6. 强化学习：实现 GRPO 用于 RLVR
- 7. 强化学习：训练跟踪、截断策略比率与 KL 项
- 8. 蒸馏推理模型

## 课程各讲

- [Watch video 1](<https://www.youtube.com/watch?v=Kh9mqTzjuEQ>)
- [Watch video 2](<https://www.youtube.com/watch?v=BJua0yjO5dk>)
- [Watch video 3](<https://www.youtube.com/watch?v=JQJ_8_jSAoY>)
- [Watch video 4](<https://www.youtube.com/watch?v=t5y-kS9nNxU>)
- [Watch video 5](<https://www.youtube.com/watch?v=TVMyOJ_3Gxo>)
- [Watch video 6](<https://www.youtube.com/watch?v=237Hf7Q3lgg>)
- [Watch video 7](<https://www.youtube.com/watch?v=VxfUrUrrczs>)
- [Watch video 8](<https://www.youtube.com/watch?v=msp69FR5NZs>)

## 原文涉及

- [GitHub - rasbt/reasoning-from-scratch: Implement a reasoning LLM in PyTorch from scratch, step by step](<https://github.com/rasbt/reasoning-from-scratch>)

---
来源：LearnMap · 学径（https://oplearnx.com）