RLHF 书：基于人类反馈的强化学习与大模型后训练

大规模自蒸馏中的 EMA 教师：ZeRO-3 + PEFT [P]

Self-distillation with an EMA teacher at scale: ZeRO-3 + PEFT [P]

r/MachineLearning 社区帖子，讨论自蒸馏中 EMA 教师与大模型扩展的问题：同时把教师和学生放在 GPU 上会增加延迟和 ZeRO-3 通信开销，作者改用 LoRA 微调，冻结共享骨干、只维护学生和教师两个轻量适配器，并将在 TRL 和 ZeRO-3 下可运行的实现打包成即插即用仓库，支持教师/学生适配器切换、EMA 教师检查点保存与恢复，以及在 GPU 显存紧张时修复内存尖峰的 deepspeed 配置，已在 Qwen3.5 和 ToolAlpaca 上测试。适合做分布式训练、ZeRO-3 与 LoRA 微调实验的人阅读。

斯坦福 CS234：强化学习（2026 冬）

这是斯坦福大学 CS234 强化学习课程 2026 年冬季学期的课程网站，包含课程安排、讲义材料、作业、课程项目和论坛等栏目。课程介绍强化学习这一让自主系统学会做决策的方法及其在机器人、游戏、消费者建模和医疗等领域的应用，内容涵盖泛化与探索等核心挑战，作业涉及强化学习基础、深度强化学习以及基于人类反馈的强化学习基础。课程由 Emma Brunskill 讲授，先修要求为熟练掌握 Python。

LLM 评估与对齐的基础理念

LLM Evaluation and Alignment, The Foundational Ideas

这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。

VibeThinker-3B 与后训练的力量

VibeThinker-3B and the Strength of Post-Training

Sebastian Raschka 博客文章，详细分析基于 Qwen2.5-Coder-3B 的 VibeThinker-3B 模型，指出其所报告的推理能力提升来自一套细致的后训练流程。文中列出报告基准成绩（AIME 2026 为 94.3、LiveCodeBench v6 为 80.2、IMO-AnswerBench 为 76.4），介绍其沿用标准 Qwen2 解码器结构及配置参数，并概述后训练配方，包括数据合成、两个监督微调阶段、多个强化学习阶段、离线自蒸馏和最后的指令微调。适合关注模型架构与后训练技术的读者。

斯坦福 AA228 / CS238：不确定性下的决策（2026 年秋）

斯坦福大学一门课程主页，从计算角度讲不确定性下的决策，介绍构建自主系统与决策支持系统所需的工具。内容涵盖概率模型与决策理论、随机动态下的求解方法、模型不确定性与不完整状态信息，涉及贝叶斯网络、影响图、动态规划、强化学习与部分可观测马尔可夫决策过程，应用包括空中交通管制、航空监视、自动驾驶与行星机器人探索。先修要求为基本概率与一门高级编程语言；页面注明讲座不要求到场、习题课仅在 Zoom 进行、考试为线下。适合具备概率与编程基础、想系统学习不确定性下决策方法的学生和开发者。