RLHF Book：Reinforcement Learning from Human Feedback and LLM Post-Training

请帮我把「RLHF Book：Reinforcement Learning from Human Feedback and LLM Post-Training」的学习环境一次准备好，让我之后只需要按顺序学习和做练习。
开始前先问我：课程放在哪个目录（等我给出完整路径），确认我的操作系统和已有工具。确认前不要创建文件或安装软件。

课程入口：https://rlhfbook.com/
我的系统：Windows。如果实际不符，先调整方案。
本次路线：在线学习。只准备这条路线需要的工具；只读路线不安装运行环境、不配置模型密钥。
练习：官方第4、5、6、8、9、12章末尾含建议实验，依次对应指令微调、奖励模型、策略梯度、直接对齐、拒绝采样、合成数据与蒸馏。code/README.md 提供起始配置和观察指标；先推导目标，再选小规模实验并记录模型、数据、预算、损失与结果。没有统一提交评分。
课节（官方顺序）：
1. 导论：https://rlhfbook.com/c/01-introduction
2. RLHF 简史：https://rlhfbook.com/c/02-related-works
3. 训练流程：https://rlhfbook.com/c/03-training-overview
4. 指令微调：https://rlhfbook.com/c/04-instruction-tuning
5. 奖励模型：https://rlhfbook.com/c/05-reward-models
6. 策略梯度：https://rlhfbook.com/c/06-policy-gradients
7. 推理：https://rlhfbook.com/c/07-reasoning
8. 直接对齐：https://rlhfbook.com/c/08-direct-alignment
9. 拒绝采样：https://rlhfbook.com/c/09-rejection-sampling
10. 偏好的性质：https://rlhfbook.com/c/10-preferences
11. 偏好数据：https://rlhfbook.com/c/11-preference-data
12. 合成数据与蒸馏：https://rlhfbook.com/c/12-synthetic-data
13. 工具使用与函数调用：https://rlhfbook.com/c/13-tools
14. 过度优化：https://rlhfbook.com/c/14-over-optimization
15. 正则化：https://rlhfbook.com/c/15-regularization
16. 评测：https://rlhfbook.com/c/16-evaluation
17. 模型个性与产品：https://rlhfbook.com/c/17-product

1. 环境
- 先在线阅读或保存许可明确的章节 Markdown。可选代码实验需先阅读 code/README.md 并依据所选子目录环境配置；没有统一低配置要求，不预设 CPU 可以完成 LLM 训练。不要自动下载大型模型或购买 GPU。
- 阅读材料不需要安装终端工具。账号或付费服务由学习者自己登录；不复制登录凭据，不自动购买服务。
- 可选配套代码实验：官方 code/README.md 要求 Python 3.12+ 与 uv；只准备许可明确的 code/ 目录及许可证，在该目录执行 uv sync。Ubuntu/Debian 还需 build-essential、python3-dev。不要在仓库根执行 uv sync 代替代码环境。
- 官方给出的显存参考：Qwen3-1.7B 策略梯度约16GB，0.6B 奖励模型约8–16GB。先检查所选实验配置及硬件，未经确认不下载模型或开启训练；不向 W&B 自动上传日志，可使用 WANDB_MODE=disabled。
- 安装前先列出要装的软件和命令，等我同意；已装好的直接复用。
2. 材料
- 在线书籍：只记录链接 https://rlhfbook.com/（仅保存官方链接；未核定此材料的复制许可，不自动下载或镜像。）
- 源码与配套代码：只记录链接 https://github.com/natolambert/rlhf-book（章节 CC BY-NC-SA 4.0；policy_gradients 代码 Apache 2.0，其他代码通常 MIT，按各子目录保留许可。部分 book/images 图片未获许可，不整仓自动镜像。）
- 第1章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/01-introduction.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 01-introduction.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第2章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/02-related-works.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 02-related-works.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第3章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/03-training-overview.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 03-training-overview.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第4章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/04-instruction-tuning.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 04-instruction-tuning.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第5章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/05-reward-models.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 05-reward-models.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第6章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/06-policy-gradients.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 06-policy-gradients.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第7章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/07-reasoning.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 07-reasoning.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第8章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/08-direct-alignment.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 08-direct-alignment.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第9章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/09-rejection-sampling.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 09-rejection-sampling.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第10章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/10-preferences.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 10-preferences.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第11章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/11-preference-data.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 11-preference-data.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第12章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/12-synthetic-data.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 12-synthetic-data.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第13章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/13-tools.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 13-tools.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第14章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/14-over-optimization.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 14-over-optimization.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第15章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/15-regularization.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 15-regularization.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第16章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/16-evaluation.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 16-evaluation.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
- 第17章 Markdown：下载 https://raw.githubusercontent.com/natolambert/rlhf-book/main/book/chapters/17-product.md 到 official/chapters/（许可：CC BY-NC-SA 4.0）；只保存该章正文并保留署名；章节引用图片单独核定许可，不递归下载图片。 保存原文件名 17-product.md，into 是目录。；本次准备个人学习副本，转载或发布修改版另按上述许可条件处理。
3. 目录（最外层放在我确认的位置）
rlhf-book/
├── README.md        # 课程入口、课节清单、每次怎么开始
├── progress.md      # 每课：读讲义 / 做练习 / 记笔记
├── questions.md     # 待解决的问题
├── check-env.md     # 环境自检，按 README 操作
├── official/chapters/ # 官方材料
├── data/            # 练习用到的样例数据
└── lessons/         # 每课一个文件夹：notes.md + exercises/
    ├── 01-lesson-01/
    ├── 02-lesson-02/
    ├── 03-lesson-03/
    ├── 04-lesson-04/
    ├── 05-lesson-05/
    ├── 06-lesson-06/
    ├── 07-lesson-07/
    ├── 08-lesson-08/
    ├── 09-lesson-09/
    ├── 10-lesson-10/
    ├── 11-lesson-11/
    ├── 12-lesson-12/
    ├── 13-lesson-13/
    ├── 14-lesson-14/
    ├── 15-lesson-15/
    ├── 16-lesson-16/
    └── 17-lesson-17/
- 每课文件夹里建 notes.md（顶部写本课官方链接）和 exercises/；课节文件夹名称与上面一致。
- 已有课程目录先检查并复用；不覆盖笔记、作业或 progress.md，不重置已有进度。尚未发布的课节保留入口并注明未发布，不能代写讲义或虚构练习。
4. 自检
- 创建 check-env.md，逐项检查并记录“通过/未通过”：
- 按浏览器或在线 notebook 清单检查，不为自检安装本机终端。
  - 人工检查：打开第1章与第6章，确认公式可阅读；准备代码实验时先执行该示例的无模型导入检查并记录环境  → 能打开指定材料并核对标题；此项是人工检查，不是终端命令，也不代表课程练习已完成。
  - uv --version  → 仅选择代码实验路线时检查 uv 可用；阅读路线跳过。
- 标注为人工检查、浏览器操作或 notebook 单元的项目，按相应方式操作，不直接粘贴进 shell；脚本只包含当前系统可执行的命令。
- 仅在当前路线需要、对应材料已获准保存、工具已安装时运行该项；需要登录、付费或尚未开放的材料记为“需要我操作/未验证”，不能伪报通过。不执行会调用付费 API、提交作业或修改云服务的检查。
- 运行一次，把结果给我看；未通过的项目说明原因和修复办法。
5. 学习计划
- README.md：课程入口、课节清单（带链接）、每次学习怎么开始（使用“每课提示词”）。
- progress.md：每课三项勾选——读讲义、做练习、记笔记。
6. 最后分三部分汇报：已完成、需要我自己操作的、尚未验证的。

边界：
- 需要管理员权限、会产生费用或需要填写密钥的操作，先告诉我原因，等我同意。密钥由我在本机配置，不发到聊天，不写进笔记或版本库；原项目需要 .env 时确认已被 Git 忽略。
- 不替我写练习或作业答案，也不替我提交。我卡住时只给提示；我明确要求时才给解答。
- 只下载许可允许个人保存的材料；其余只放链接。不把未运行的命令说成成功。
如果你不能直接操作我的文件系统，请在确认目录后给出适用于我的系统、可直接执行的命令和需要保存的文件内容。