课程深入
MIT 6.231:动态规划与随机控制(2015 年秋)
MIT OpenCourseWare 上 6.231《Dynamic Programming and Stochastic Control》的讲义幻灯片页面,课程由 Dimitri Bertsekas 教授讲授,属电子工程与计算机科学系研究生课程,2015 年秋季开设。页面提供完整讲义 PDF 及分讲次幻灯片,例如有限时域问题讲座涵盖动态规划导论与示例、反馈的意义、最优性原理与通用动态规划算法、状态增广、确定性有限状态问题与逆向最短路径等。课程材料还包括考试及解答、习题集和视频。适合学习动态规划与随机控制理论的人使用。
- 分级
- 值得看
- 所属主题
- 数学与形式化证明
- 收录时间
- 2026-10-29
- 难度
- 深入
- 语言
- 英文
- 规模
- 23 讲
- 费用
- 免费
学完你能
- 掌握动态规划的基本问题、最优性原理与通用 DP 算法
- 对确定性与随机有限时域问题建模并求解,包括线性二次与库存控制等例子
- 处理不完美状态信息问题,理解充分统计量与估计—控制分离
- 分析无限时域问题:随机最短路、折扣问题与平均代价问题及其计算算法
- 了解近似动态规划、策略/值空间近似与基于仿真的方法
适合你吗
适合
- 研究生阶段学习控制、优化或运筹方向的学生
- 具备概率论与随机过程基础、希望系统学习随机控制的人
- 需要了解近似动态规划与强化学习理论来源的研究者
暂不适合
- 没有概率论基础、希望入门了解的初学者
- 只想学编程实现而不关心理论的读者
需要先会
需要研究生水平的概率论、随机过程与数学分析基础。
课程特点
- 内容侧重
- 以讲义为主线,系统讲解有限时域、无限时域动态规划理论及近似方法。
- 练习与项目
- 课程页列出考试与解答、习题集;具体安排材料未说明。
- 费用说明
- MIT OpenCourseWare 资源,讲义 PDF 可直接访问,无价格或证书信息。
内容覆盖
- 第 1 讲 动态规划导论、示例与反馈的意义
- 第 2 讲 基本问题、最优性原理、通用 DP 算法与状态增广
- 第 3 讲 确定性有限状态问题与最短路算法
- 第 4 讲 随机 DP 示例:线性二次问题与库存控制
- 第 5 讲 停止问题、调度问题与极小极大控制
- 第 6 讲 不完美状态信息问题及其化为完美信息情形
- 第 7 讲 充分统计量与有限状态分析
- 第 8 讲 次优控制与代价近似方法分类
- 第 9 讲 Rollout 算法、模型预测控制与离散化
- 第 10 讲 无限时域问题与随机最短路(SSP)问题
- 第 11 讲 SSP 与折扣问题的计算方法
- 第 12 讲 平均代价问题:与 SSP 的联系、值迭代与策略迭代
- 第 13 讲 连续时间马尔可夫链控制:半马尔可夫问题
- 第 14 讲 高级无限时域动态规划与近似方法导论
- 第 15 讲 折扣问题基本理论、压缩映射与抽象 DP
- 第 16 讲 折扣问题的值迭代、策略迭代与异步算法
- 第 17 讲 无折扣问题:SSP 的恰当策略与病态情形
- 第 18 讲 无折扣总代价问题与风险敏感问题
- 第 19 讲 近似动态规划导论:策略空间与值空间近似
- 第 20 讲 近似值迭代、投影方程与 LSTD/LSPE/TD 方法
- 第 21 讲 近似策略迭代、多步投影方程与偏差—方差权衡
- 第 22 讲 聚合方法、基于仿真的聚合与 Q 学习
- 第 23 讲 高级专题:广义问题、基函数自适应与梯度近似