Some Math behind Neural Tangent Kernel（神经正切核背后的数学）

学完你能

• 解释神经正切核（NTK）的定义及其刻画神经网络梯度下降训练过程的思路
• 计算向量到向量的导数（Jacobian）与梯度矩阵的关系
• 说明核方法与高斯过程的基本概念及其与 NTK 的联系
• 推导无穷宽网络下 NTK 收敛为确定性核的直观论证
• 解释线性化模型（linearized model）与 lazy training 的含义
• 用 NTK 视角说明为何宽网络能收敛到全局最小值

适合你吗

课程特点

内容侧重

侧重理论理解

练习与项目

按目录顺序精读并自行推导关键公式；可参照文中引用的 Jacot et al. 2018 原文与讲解视频做对照练习。

学习时长

1 个课节原站未给出统一学习时长；实际用时取决于已有基础。

内容费用

费用待核验网页正文未说明收费或免费信息。

内容覆盖

• Basics：Vector-to-vector Derivative、Differential Equations、Central Limit Theorem、Taylor Expansion、Kernel & Kernel Methods、Gaussian Processes、Notation
• Neural Tangent Kernel
• Infinite Width Networks
• Connection with Gaussian Processes
• Deterministic Neural Tangent Kernel
• Linearized Models
• Lazy Training
• Citation 与 References