# 神经正切核背后的数学

- 原标题：Some Math behind Neural Tangent Kernel（神经正切核背后的数学）
- 类型：教程
- 来源：Lilian Weng 博客
- 发布时间：2022-09-09
- 首次精选：2026-10-29 23:09
- 分级：值得看
- 学习层级：深入
- 主题：[model-interpretability](<https://oplearnx.com/md/topics/model-interpretability.md>)（第 2 位）、[neural-model-foundations](<https://oplearnx.com/md/topics/neural-model-foundations.md>)（第 39 位）
- 原文链接：[https://lilianweng.github.io/posts/2022-09-08-ntk](<https://lilianweng.github.io/posts/2022-09-08-ntk>)
- 本站页面：[https://oplearnx.com/resources/pk\_f8b93705c5e9](<https://oplearnx.com/resources/pk_f8b93705c5e9>)

## 摘要

Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。

## 原文涉及

- [Neural Tangent Kernel: Convergence and Generalization in Neural Networks](<https://arxiv.org/abs/1806.07572>)

---
来源：LearnMap · 学径（https://oplearnx.com）