模型解释与探测

神经正切核背后的数学

Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。