多伦多大学 CSC412/2506：概率机器学习（2025 冬）

什么是扩散模型？（Lil'Log 扩散模型详解）

Lil'Log 博客上的一篇长文，系统讲解扩散模型：前向扩散过程、与随机梯度 Langevin 动力学的联系、反向扩散过程、训练损失的参数化与化简、与噪声条件得分网络（NCSN）的关联、β_t 与反向过程方差的参数化，以及分类器引导和无分类器引导的条件生成、采样加速（蒸馏、一致性模型）、潜变量空间，并设有模型架构与要点小结章节。文章自 2021 年发布后多次更新，陆续补充了 GLIDE、unCLIP、Imagen、潜在扩散模型和渐进蒸馏等内容，开头还对比了 GAN、VAE、流模型等生成模型的局限。适合有深度学习基础、想了解扩散模型原理与推导的读者阅读。

神经正切核背后的数学

Lilian Weng 在 Lil'Log 博客上关于神经正切核（NTK）的数学长文。文章从过参数化神经网络易于拟合数据且泛化良好、随机初始化下优化结果稳定的现象出发，介绍 NTK（Jacot 等，2018）作为解释神经网络在梯度下降训练中演化过程的核，并深入讨论其动机与定义，以及在无限宽度网络下刻画 NTK、证明不同初始化时确定性收敛的推导。文中先铺垫向量对向量导数、微分方程、中心极限定理、泰勒展开、核方法与高斯过程等基础，再涉及无限宽度网络、与高斯过程的联系、确定性 NTK、线性化模型与惰性训练，并附引用。作者说明与以往文章不同，本篇聚焦少数核心论文而非广泛文献综述。适合具备一定数学基础、想理解 NTK 理论的人阅读。

深度学习系统：算法与实现（2026 秋）

这是卡内基梅隆大学风格课程“深度学习系统”的 2026 秋季课程主页（页面来自 dlsyscourse.org）。页面列有开课信息：首次课 8 月 25 日，周二、周四 11:00–12:20 在 DH 2315 上课，并给出了助教答疑的时间和地点表。课程说明部分提到，前几周采用按 Andrew ID 首字母分组的“线下期望轮换”临时安排：ID 以 a–m 开头的周二到课、周四远程，n–z 反之；所有讲座都会录像。页面还包含课程描述，说明深度学习对人工智能的影响。适合想了解该课程安排和上课方式的人阅读。

基于流的深度生成模型

Flow-based Deep Generative Models

Lil'Log 博客关于流模型（flow-based generative models）的文章。先对比 GAN、VAE 与流模型的区别，回顾雅可比矩阵、行列式与变量变换定理，再介绍归一化流（Normalizing Flows）及 RealNVP、NICE、Glow，以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流，最后提到 VAE + Flows 的组合。

大模型架构的最新进展：KV 共享、mHC 与压缩注意力

Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention

Sebastian Raschka 通讯文章，梳理 2026 年 4 月至 5 月主要开放权重模型发布中的架构变化，指出新架构多聚焦长上下文效率，以应对 KV 缓存大小、内存流量和注意力成本等约束。具体讨论 Gemma 4 的 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。文中说明主要聚焦架构设计，基本不涉及数据配比、训练计划、后训练细节、强化学习配方、基准表和产品比较。

Stanford STATS315A：现代统计学习（2026 冬）

斯坦福大学 Statistics 315a“Modern Statistical Learning”2026 年冬季课程主页，授课教师为 Brian Trippe。课程介绍称其讲授现代机器学习背后的统计技术，学习目标包括熟悉常见机器学习方法及其统计基础、根据数据集与分析目标选择合适的工具、用 Python 和 PyTorch 实践与评估机器学习方法，以及通过构建核心组件和简化实现理解用于文本与图像生成的大规模机器学习系统；材料显示课程约三分之二内容涉及若干主题。页面另列上课时间（周二、周四 13:30–14:50，McCullough Building 115 室）、教师与两位助教的答疑时间，以及使用 Ed、Gradescope 和 Canvas 的安排。