Lil'Log（Lilian Weng 个人博客） · Lilian Weng
Policy Gradient Algorithms | Lil'Log
Policy Gradient Algorithms | Lil'Log是Lil'Log（Lilian Weng 个人博客）的免费文章（en）。前置条件：需了解强化学习基本概念（状态、动作、回报、值函数、策略），并具备一定概率与微积分基础。
系统理解策略梯度方法的目标函数、策略梯度定理及其证明，并认识从 REINFORCE 到 PPO、SAC、IMPALA 等主流算法的设计思路与相互关系。
Lil'Log
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 打开即可学习
使用限制
浏览器直接打开即可阅读，无需账号或额外资源。
- 练习与作业
- 开课提示词尚未实际运行验证
学完你能
- 理解策略梯度方法的优化目标 J(θ) 与状态分布 d^π(s) 的含义
- 读懂策略梯度定理的表述，并理解它如何避免对状态分布求导
- 跟随文中推导理解策略梯度定理的证明过程
- 说明 REINFORCE 与 Actor-Critic 两类方法的基本区别
- 认识 DDPG、D4PG、TD3 等确定性策略梯度方法的特点
- 理解 TRPO、PPO、PPG 在策略更新约束上的做法
- 理解 SAC 的最大熵框架以及自动调节温度版本
- 了解 A3C、ACER、ACTKR、SVPG、IMPALA 等方法的定位
适合你吗
适合
适合已具备强化学习基础、希望系统梳理策略梯度算法谱系并理解公式推导的读者，可作为学习笔记式的深度综述阅读。
暂不适合
不适合完全零基础者，也不提供可运行代码或工程实现指导，想动手实现算法的读者需另找代码资源。
需要先会
需了解强化学习基本概念（状态、动作、回报、值函数、策略），并具备一定概率与微积分基础。
课程特点
- 内容侧重
- 侧重理论理解
- 练习与项目
- 文章为阅读型材料，无配套练习；可自行对照文中引用的论文与开源代码链接做进一步实现练习。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选里可直接读到文章正文与公式推导，页面无付费墙或登录提示。
内容覆盖
- What is Policy Gradient
- Notations
- Policy Gradient
- Policy Gradient Theorem
- Proof of Policy Gradient Theorem
- REINFORCE
- Actor-Critic
- Off-Policy Policy Gradient
- A3C
- A2C
- DPG
- DDPG
- D4PG
- MADDPG
- TRPO
- PPO
- PPG
- ACER
- ACTKR
- SAC
常见问题
免费吗？
免费：节选里可直接读到文章正文与公式推导，页面无付费墙或登录提示。实践无额外费用：阅读型文章，网页未说明需要任何付费服务、API 或 GPU。
需要什么基础？
需了解强化学习基本概念（状态、动作、回报、值函数、策略），并具备一定概率与微积分基础。软件、账号与硬件：只需浏览器阅读，无需安装环境或账号。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://lilianweng.github.io/posts/2018-04-08-policy-gradient/。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-24
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。