学习奖励、偏好优化和智能体后训练，适合模型训练与对齐研究者。
30 条精选 · 入门 1 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
一个以 Next.js 和 MDX 构建、MIT 许可的开源强化学习手册仓库，可在线站点 rl-handbook.com 阅读，并提供简体中文版 README。内容从多臂老虎机与马尔可夫决策过程讲起，延伸到基于价值的方法、策略梯度、actor-critic 架构和基于模型的方法，进阶主题包括模仿学习、离线 RL、好奇心驱动探索和多智能体系统，兼顾数学严谨性与可运行代码示例。面向学生、研究人员和工程师。
LLM Evaluation and Alignment, The Foundational Ideas
这是 Manning Publications 出版的图书，作者为 Han Lee，共 275 页，预计 2027 年 1 月 15 日出版，目前尚未出版。简介称该书把判断与调整 AI 系统的基础研究转化为实用技术，讲解从文本匹配到语义相似度再到基于判断的评估的演进脉络，并提出以“从必须做对的事倒推”的方法把评估作为设计约束，围绕“定义—评估—分析—对齐”循环展开。
RLHF Book：Reinforcement Learning from Human Feedback and LLM Post-Training
一本关于基于人类反馈的强化学习（RLHF）与大模型后训练的书的网页版，纸质版于 2026 年 7 月首次出版。页面主要记录网页版与纸质版之间的差异，包括带勾标记表示已纳入 2026 年 10 月第一次重印的网页勘误。内容增补涉及：在第 3 章扩展标准训练配方并加入 MOPD 与智能体后训练示例和新流程图；第 16 章新增智能体评估小节；第 5 章澄清结果奖励模型的历史并重组奖励建模章节；第 6 章整理 RL 符号（轨迹采样分布与时间下标）；第 12 章扩展在线策略蒸馏内容并更名为“合成数据与蒸馏”；以及正则化章节的次序调整。作者提到考虑几年后推出改名为“后训练书”的第二版。