更多课程
课程深入

MIT 6.231:动态规划与随机控制(2015 年秋)

AI 导读

MIT OpenCourseWare 上 6.231《Dynamic Programming and Stochastic Control》的讲义幻灯片页面,课程由 Dimitri Bertsekas 教授讲授,属电子工程与计算机科学系研究生课程,2015 年秋季开设。页面提供完整讲义 PDF 及分讲次幻灯片,例如有限时域问题讲座涵盖动态规划导论与示例、反馈的意义、最优性原理与通用动态规划算法、状态增广、确定性有限状态问题与逆向最短路径等。课程材料还包括考试及解答、习题集和视频。适合学习动态规划与随机控制理论的人使用。

分级
值得看
收录时间
2026-10-29
难度
深入
语言
英文
规模
23 讲
费用
免费

学完你能

  • 掌握动态规划的基本问题、最优性原理与通用 DP 算法
  • 对确定性与随机有限时域问题建模并求解,包括线性二次与库存控制等例子
  • 处理不完美状态信息问题,理解充分统计量与估计—控制分离
  • 分析无限时域问题:随机最短路、折扣问题与平均代价问题及其计算算法
  • 了解近似动态规划、策略/值空间近似与基于仿真的方法

适合你吗

适合

  • 研究生阶段学习控制、优化或运筹方向的学生
  • 具备概率论与随机过程基础、希望系统学习随机控制的人
  • 需要了解近似动态规划与强化学习理论来源的研究者

暂不适合

  • 没有概率论基础、希望入门了解的初学者
  • 只想学编程实现而不关心理论的读者

需要先会

需要研究生水平的概率论、随机过程与数学分析基础。

课程特点

内容侧重
以讲义为主线,系统讲解有限时域、无限时域动态规划理论及近似方法。
练习与项目
课程页列出考试与解答、习题集;具体安排材料未说明。
费用说明
MIT OpenCourseWare 资源,讲义 PDF 可直接访问,无价格或证书信息。

内容覆盖

  • 第 1 讲 动态规划导论、示例与反馈的意义
  • 第 2 讲 基本问题、最优性原理、通用 DP 算法与状态增广
  • 第 3 讲 确定性有限状态问题与最短路算法
  • 第 4 讲 随机 DP 示例:线性二次问题与库存控制
  • 第 5 讲 停止问题、调度问题与极小极大控制
  • 第 6 讲 不完美状态信息问题及其化为完美信息情形
  • 第 7 讲 充分统计量与有限状态分析
  • 第 8 讲 次优控制与代价近似方法分类
  • 第 9 讲 Rollout 算法、模型预测控制与离散化
  • 第 10 讲 无限时域问题与随机最短路(SSP)问题
  • 第 11 讲 SSP 与折扣问题的计算方法
  • 第 12 讲 平均代价问题:与 SSP 的联系、值迭代与策略迭代
  • 第 13 讲 连续时间马尔可夫链控制:半马尔可夫问题
  • 第 14 讲 高级无限时域动态规划与近似方法导论
  • 第 15 讲 折扣问题基本理论、压缩映射与抽象 DP
  • 第 16 讲 折扣问题的值迭代、策略迭代与异步算法
  • 第 17 讲 无折扣问题:SSP 的恰当策略与病态情形
  • 第 18 讲 无折扣总代价问题与风险敏感问题
  • 第 19 讲 近似动态规划导论:策略空间与值空间近似
  • 第 20 讲 近似值迭代、投影方程与 LSTD/LSPE/TD 方法
  • 第 21 讲 近似策略迭代、多步投影方程与偏差—方差权衡
  • 第 22 讲 聚合方法、基于仿真的聚合与 Q 学习
  • 第 23 讲 高级专题:广义问题、基函数自适应与梯度近似