A (Long) Peek into Reinforcement Learning

学完你能

• 解释强化学习中智能体、环境、状态、动作、奖励等核心概念
• 用 MDP 描述强化学习问题，并写出贝尔曼期望方程与贝尔曼最优方程
• 区分基于模型与无模型、on-policy 与 off-policy、值函数与策略等算法分类
• 说明动态规划、蒙特卡洛与时序差分（TD）方法的基本思路与差异
• 对比 SARSA 与 Q-learning，并解释 DQN 的关键设计
• 说明策略梯度定理、REINFORCE 与 Actor-Critic、A3C 的基本原理
• 描述探索-利用困境与致命三要素（deadly triad）问题
• 以 AlphaGo Zero 为例说明强化学习在复杂任务中的应用

适合你吗

课程特点

内容侧重

按内容目录判断

练习与项目

文中给出 SARSA 与 Q-learning 的更新算法，可自行在纸上或任意编程环境按公式手算一步更新以加深理解；原站未提供配套代码。

学习时长

1 个课节原站未给出统一学习时长；实际用时取决于已有基础。

内容费用

免费博客正文（概念讲解与公式）在页面上直接可读，未见付费墙或登录拦截。

内容覆盖

• What is Reinforcement Learning?
• Key Concepts（Model、Policy、Value Function、Optimal Value and Policy）
• Markov Decision Processes
• Bellman Equations（期望方程与最优方程）
• Dynamic Programming（Policy Evaluation、Policy Improvement、Policy Iteration）
• Monte-Carlo Methods
• Temporal-Difference Learning（Bootstrapping、Value Estimation、SARSA、Q-Learning、DQN、TD 与 MC 结合）
• Policy Gradient（Policy Gradient Theorem、REINFORCE、Actor-Critic、A3C）
• Evolution Strategies
• Known Problems（探索-利用困境、Deadly Triad）
• Case Study: AlphaGo Zero