Lil'Log（Lilian Weng 个人博客） · Lilian Weng
The Multi-Armed Bandit Problem and Its Solutions
The Multi-Armed Bandit Problem and Its Solutions是Lil'Log（Lilian Weng 个人博客）的免费文章（en）。前置条件：需要概率统计基础（随机变量、期望、样本均值、大数定律、Bernoulli 分布）以及阅读不等式推导的能力。
读完能理解探索与利用的权衡，并能说明多臂老虎机问题中的 ε-greedy 与 UCB（含 UCB1）两类经典解法的原理与推导思路。后代以 Thompson Sampling 为标题的小节正文原站本次未提供，不在成果范围内。
- 难度
- 见前置条件
- 类型
- 博客 · 文章
- 语言
- en
- 规模
- 1 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
使用限制
阅读正文无需任何账号，浏览器直接打开即可。
- 练习与作业
- 开课提示词尚未实际运行验证
学完你能
- 说清探索与利用（exploration vs exploitation）困境，以及它为何构成多臂老虎机问题的难点
- 用动作集合 A、奖励函数 R、动作价值 Q(a)、最优奖励概率 θ* 与累计遗憾 L_T 等要素形式化描述 Bernoulli 多臂老虎机
- 写出 ε-greedy 的动作价值估计公式与选动作规则，并说明其随机探索的效率问题
- 说明 UCB 用置信上界衡量探索潜力的思路，以及为何上界随尝试次数 N_t(a) 增大而变小
- 由 Hoeffding 不等式推出 U_t(a)=sqrt(-log p / 2N_t(a))，并说明取 p=t^-4 后得到 UCB1 的上界 sqrt(2 log t / N_t(a))
适合你吗
适合
想系统了解 bandit 问题与 ε-greedy、UCB 等经典探索策略原理，并需要数学推导细节的学习者。
暂不适合
希望从零开始学强化学习全貌，或想找可直接上手的完整课程/视频系列的学习者。
需要先会
需要概率统计基础（随机变量、期望、样本均值、大数定律、Bernoulli 分布）以及阅读不等式推导的能力。
课程特点
- 内容侧重
- 侧重理论理解
- 练习与项目
- 建议在纸面手推 Hoeffding 不等式到 UCB1 的推导，并可选在配套仓库中把实现与正文公式对照。
- 学习时长
- 1 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费节选可直接读到正文与公式推导，网页未提及任何付费或登录限制。
内容覆盖
- Exploitation vs Exploration
- What is Multi-Armed Bandit?
- Definition
- Bandit Strategies
- ε-Greedy Algorithm
- Upper Confidence Bounds
- Hoeffding's Inequality
- UCB1
- Bayesian UCB
- Thompson Sampling
- Case Study
- Summary
- References
常见问题
免费吗？
免费：节选可直接读到正文与公式推导，网页未提及任何付费或登录限制。实践无额外费用：网页未提及练习需要付费云服务、API 或 GPU；配套代码为 GitHub 上的普通 Python 实现。
需要什么基础？
需要概率统计基础（随机变量、期望、样本均值、大数定律、Bernoulli 分布）以及阅读不等式推导的能力。软件、账号与硬件：无需安装环境，浏览器阅读即可；若想运行文中链接的配套仓库代码需自备 Python 环境（网页未说明具体依赖）。
有中文吗？
本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。
怎么开始？
从原始资源入口开始：https://lilianweng.github.io/posts/2018-01-23-multi-armed-bandit/。本页“学前准备”列出环境与工具，“学习指南”给出开课提示词，可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-24
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。