Lilian Weng (Lil'Log) · Lilian Weng

Anatomize Deep Learning with Information Theory

Anatomize Deep Learning with Information Theory是Lilian Weng (Lil'Log)的免费文章（en）。前置条件：需要了解概率论基础（熵、条件概率）、神经网络前向与反向传播，以及监督学习的基本概念。

理解信息瓶颈视角下深度神经网络训练的两个阶段，以及基于互信息的泛化界。

Weng

使用限制

浏览器直接打开网页即可阅读，无需账号或额外资源。

练习与作业: 开课提示词尚未实际运行验证
内容提示: 内容时效：网页标注文章发布于 2017 年 9 月 28 日，正文基于 2017 年前后的信息瓶颈论文与讲座（含 Shwartz-Ziv and Tishby, 2017），该理论此后有进一步争论与发展。

适合想从信息论角度理解深度学习训练动力学与泛化问题的学习者，篇幅约 9 分钟阅读，概念推导清晰。

不适合想找可运行代码、动手实践项目或深度学习入门操作教程的读者；全文以理论概念与公式为主。

需要了解概率论基础（熵、条件概率）、神经网络前向与反向传播，以及监督学习的基本概念。

Basic Concepts（Markov Chain、KL Divergence、Mutual Information、DPI、Reparametrization invariance）
Deep Neural Networks as Markov Chains
Information Plane Theorem
Two Optimization Phases
Learning Theory：“Old” Generalization Bounds
Learning Theory：“New” Input compression bound
Network Size and Training Data Size
The Benefit of More Hidden Layers
The Benefit of More Training Samples
References

免费吗？

免费：博客文章正文在网页上完整公开可读，未见付费墙或登录要求。实践无额外费用：文章为理论综述，未要求任何付费云服务、API 或 GPU。

需要什么基础？

需要了解概率论基础（熵、条件概率）、神经网络前向与反向传播，以及监督学习的基本概念。软件、账号与硬件：一台可以阅读网页的浏览器即可，无需安装环境。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://lilianweng.github.io/posts/2017-09-28-information-bottleneck/。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。