策略梯度算法

一窥强化学习（长文）

A (Long) Peek into Reinforcement Learning

这篇长篇博客以 AlphaGo、AlphaGo Zero 和 OpenAI 在 DOTA2 1v1 中的成果为引子，概述强化学习。内容涵盖核心概念（转移与奖励模型、策略、价值函数、最优价值与策略）、马尔可夫决策过程、贝尔曼期望与最优方程，以及主要方法：动态规划（策略评估、策略改进、策略迭代）、蒙特卡洛方法、时序差分学习（自举、值估计、SARSA、Q-Learning、DQN）、TD 与 MC 结合、策略梯度（策略梯度定理、REINFORCE、Actor-Critic、A3C）和进化策略，并讨论利用-探索困境与致命三元组问题，最后附 AlphaGo Zero 案例。文中注明该文有中文译本。

2025 年大语言模型现状：进展、问题与预测

Sebastian Raschka 于 2025 年 12 月 30 日发布在个人杂志上的年度回顾文章，梳理 2025 年大语言模型的主要发展，包括被作者称为“推理、RLVR 和 GRPO 之年”的趋势、2025 年 1 月 DeepSeek R1 的发布及其影响，并讨论仍然存在的局限与开放问题以及对后续发展的看法。

RL Handbook：强化学习全面指南（开源手册）

一个以 Next.js 和 MDX 构建、MIT 许可的开源强化学习手册仓库，可在线站点 rl-handbook.com 阅读，并提供简体中文版 README。内容从多臂老虎机与马尔可夫决策过程讲起，延伸到基于价值的方法、策略梯度、actor-critic 架构和基于模型的方法，进阶主题包括模仿学习、离线 RL、好奇心驱动探索和多智能体系统，兼顾数学严谨性与可运行代码示例。面向学生、研究人员和工程师。

从零构建推理模型：完整视频课程

Building Reasoning Models from the Ground Up: A Full Video Course

这是 Ahead of AI 作者发布的配套视频课程介绍，包含 8 个从零构建推理模型的编程视频，共约 11 小时，用 Python 和 PyTorch 实现推理扩展、强化学习、蒸馏等方法。课程从一个预训练 LLM 出发，实现评估与改进该模型的方法，是其此前《从零编程 LLM》课程的续篇，但不需要先修该课程。适合希望动手理解推理模型内部机制的人。

思考高质量人类数据

Thinking about High-Quality Human Data

Lilian Weng 在个人博客 Lil'Log 上发布的文章，讨论高质量数据对深度学习模型训练的重要性，以及人类标注数据采集中的质量问题。文中从两个方向展开：人类标注者与数据质量，包括任务设计、标注者筛选与培训、群体智慧、标注者一致性与分歧及两种范式；数据质量与模型训练，包括影响函数、训练过程中的预测变化与带噪交叉验证。文末附引用文献，并致谢 Ian Kivlichan 提供线索与反馈。适合关注数据标注、RLHF 数据与模型训练数据质量的人阅读。

面向推荐系统的 Bandit 方法

Bandits for Recommender Systems

这篇博客文章讲解 Bandit 方法如何通过建模不确定性并主动探索来解决推荐系统的反馈回路问题，尤其适用于物品集合快速变化（新闻、广告、推文）或流量较低的场景。文中简要讨论了 ε-greedy、UCB 和 Thompson Sampling 三种主要算法，并提及工业界实现。适合做推荐系统、关注探索与利用问题的人阅读。