从自编码器到 Beta-VAE

基于流的深度生成模型

Flow-based Deep Generative Models

Lil'Log 博客关于流模型（flow-based generative models）的文章。先对比 GAN、VAE 与流模型的区别，回顾雅可比矩阵、行列式与变量变换定理，再介绍归一化流（Normalizing Flows）及 RealNVP、NICE、Glow，以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流，最后提到 VAE + Flows 的组合。

从 GAN 到 WGAN

From GAN to WGAN

这篇博客从博弈论视角讲解生成对抗网络（GAN），先用 KL 与 JS 散度铺垫，推导判别器的最优值和全局最优，解释损失函数的含义，再讨论 GAN 训练中的问题（难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标）和改进训练方法。最后介绍 Wasserstein GAN，包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势，以及将其用作 GAN 损失函数，并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。

从零实现 LLM 架构

Implementing LLM Architectures From Scratch

Sebastian Raschka 的一篇短笔记，附有一段关于用 Python 和 PyTorch 从零实现 LLM 架构的演讲链接。笔记介绍其实际工作流程：当新的开放权重模型发布时，从精简的参考实现入手，追查架构变化，并与模型卡、配置文件和已发布代码对照，以区分命名差异与真实设计改动；文中还提到 LLM 架构进展文章和 LLM Architecture Gallery 等相关阅读材料。

多伦多大学 CSC412/2506：概率机器学习（2025 冬）

多伦多大学 2025 年冬季 CSC412/2506 概率机器学习课程主页，授课教师为 Denys Linkov，并列出助教名单。课程介绍指数族、有向图模型、马尔可夫随机场、精确推断、消息传递、采样与 MCMC、隐马尔可夫模型、变分推断、神经网络、嵌入、注意力、稀疏自编码器、专家混合（MoE）、约束解码、投机解码、变分自编码器和扩散模型等主题，并给出基于概率构建模块的建模与优化方法概览。页面还列出作业 A1–A4 与练习期末的发布时间和截止时间，以及助教答疑时间与开课日期。

广义语言模型

Generalized Language Models

Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。

Stanford CS224N：基于深度学习的自然语言处理（2026 冬）

斯坦福大学 2026 年冬季 CS224N《Natural Language Processing with Deep Learning》课程网站，授课教师为 Diyi Yang 与 Yejin Choi，并列出课程管理人员和助教名单。课程介绍称近年深度学习方法在许多 NLP 任务上取得很高表现，学生将获得对前沿 NLP 神经网络的系统入门。讲座为太平洋时间周二、周四 16:30–17:50，在 NVIDIA Auditorium 举行并通过 Canvas 上的 Panopto 直播；选修学生的录播需登录 Canvas，非选修者无法观看，但 2024 年版完整课程视频在 YouTube 免费公开。