扩散与图像生成

学习扩散、流匹配和图像生成编辑,适合生成模型研究者与图像创作者。

11 条精选 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 1进阶
    博客
    Lilian Weng 博客

    从 GAN 到 WGAN

    From GAN to WGAN

    这篇博客从博弈论视角讲解生成对抗网络(GAN),先用 KL 与 JS 散度铺垫,推导判别器的最优值和全局最优,解释损失函数的含义,再讨论 GAN 训练中的问题(难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标)和改进训练方法。最后介绍 Wasserstein GAN,包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势,以及将其用作 GAN 损失函数,并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。

  2. 2进阶
    博客
    Lilian Weng 博客

    从自编码器到 Beta-VAE

    From Autoencoder to Beta-VAE

    Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器,然后重点讲变分自编码器 VAE(ELBO 损失与重参数化技巧)、Beta-VAE,以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节,附符号表。

  3. 3深入
    博客
    Lilian Weng 博客

    基于流的深度生成模型

    Flow-based Deep Generative Models

    Lil'Log 博客关于流模型(flow-based generative models)的文章。先对比 GAN、VAE 与流模型的区别,回顾雅可比矩阵、行列式与变量变换定理,再介绍归一化流(Normalizing Flows)及 RealNVP、NICE、Glow,以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流,最后提到 VAE + Flows 的组合。

  4. 4深入
    课程
    diophontine.github.io

    多伦多大学 CSC412/2506:概率机器学习(2025 冬)

    多伦多大学 2025 年冬季 CSC412/2506 概率机器学习课程主页,授课教师为 Denys Linkov,并列出助教名单。课程介绍指数族、有向图模型、马尔可夫随机场、精确推断、消息传递、采样与 MCMC、隐马尔可夫模型、变分推断、神经网络、嵌入、注意力、稀疏自编码器、专家混合(MoE)、约束解码、投机解码、变分自编码器和扩散模型等主题,并给出基于概率构建模块的建模与优化方法概览。页面还列出作业 A1–A4 与练习期末的发布时间和截止时间,以及助教答疑时间与开课日期。

  5. 5深入
    博客
    Lilian Weng 博客

    什么是扩散模型?(Lil'Log 扩散模型详解)

    Lil'Log 博客上的一篇长文,系统讲解扩散模型:前向扩散过程、与随机梯度 Langevin 动力学的联系、反向扩散过程、训练损失的参数化与化简、与噪声条件得分网络(NCSN)的关联、β_t 与反向过程方差的参数化,以及分类器引导和无分类器引导的条件生成、采样加速(蒸馏、一致性模型)、潜变量空间,并设有模型架构与要点小结章节。文章自 2021 年发布后多次更新,陆续补充了 GLIDE、unCLIP、Imagen、潜在扩散模型和渐进蒸馏等内容,开头还对比了 GAN、VAE、流模型等生成模型的局限。适合有深度学习基础、想了解扩散模型原理与推导的读者阅读。

  6. 6进阶
    课程
    Stanford 课程官网

    Stanford STATS315A:现代统计学习(2026 冬)

    斯坦福大学 Statistics 315a“Modern Statistical Learning”2026 年冬季课程主页,授课教师为 Brian Trippe。课程介绍称其讲授现代机器学习背后的统计技术,学习目标包括熟悉常见机器学习方法及其统计基础、根据数据集与分析目标选择合适的工具、用 Python 和 PyTorch 实践与评估机器学习方法,以及通过构建核心组件和简化实现理解用于文本与图像生成的大规模机器学习系统;材料显示课程约三分之二内容涉及若干主题。页面另列上课时间(周二、周四 13:30–14:50,McCullough Building 115 室)、教师与两位助教的答疑时间,以及使用 Ed、Gradescope 和 Canvas 的安排。

  7. 7深入
    博客发布 07-16
    Google Research

    走向揭开扩散模型创造力之谜

    Towards demystifying the creativity of diffusion models

    这是 Google 研究科学家 Zhengdao Chen 于 2026 年 7 月 15 日发布的博客,讨论扩散模型的"创造力"(生成新数据而非仅记忆训练集)如何成为数学结果。文中称这与神经网络学到"平滑化"的分数函数有关,并介绍在 ICLR 2026 发表的论文《On the Interpolation Effect of Score Smoothing in Diffusion Models》。文中提供论文与代码链接。

  8. 8进阶
    博客必读发布 10-15
    Hugging Face

    在 Diffusers 中欢迎 FLUX.3 Image Klein

    Welcome FLUX.3 Image Klein in Diffusers

    这是 Hugging Face 博客的一篇文章(2026 年 10 月 15 日),介绍 Black Forest Labs 的新开放图像生成模型 FLUX.3 Image Klein 以及它在 Diffusers 中的首日支持。该模型同时支持文生图、多参考图生图和新增的布局控制(在提示词中写边界框指定图像各部分位置),发布了时间步蒸馏版和基础版两个开放检查点,并附带 NVFP4/FP8 权重加载、LoRA 训练脚本和 Modular Diffusers 流水线支持。

  9. 9进阶
    项目发布 10-28
    Reddit

    首批无需上采样步骤的 6 步 LoRA 适配器,速度约提升 5 倍 [N]

    First 6-step LoRA adapters with no upsampling step, ~5x faster [N]

    r/MachineLearning 社区帖子,作者发布了托管在 Hugging Face 上的一组 6 步 LoRA(PrunaAI/P-Q-Image-2.1),称可将图像生成或编辑从 40 步缩减到 6 步;其中 6 步版用于编辑时保留输入,6 步上采样版去掉了单独的提示词上采样步骤,据称可节省 41 至 80 秒,适配器直接加载在 Qwen-Image-2.1 之上、流程无需改动。适合关注扩散模型少步蒸馏、图像生成/编辑加速的人阅读。

  10. 10深入
    课程
    Stanford 课程官网

    斯坦福 EE364B:凸优化 II(2026 春)

    这是斯坦福 EE364B(与 CME364b 等同,最初由 Stephen Boyd 开设)2026 年春季课程主页,主讲为 Mert Pilanci。公告称首次课在周一 30 日 1:30–2:50 于 CODA B90 进行,讲座录像提供给已注册学生。课程描述说明它是 364A 的延续,内容涵盖次梯度、割平面与椭球法,基于原始-对偶分解的分布式凸优化,单调算子与近端方法、ADMM,利用问题结构的实现,困难问题的凸松弛,分支定界全局优化,鲁棒与随机优化,非凸启发式,以及神经网络、扩散模型和蒙特卡洛采样的凸表述,并应用于控制、电路设计、信号处理、机器学习和通信等领域,以最终项目收尾;先修课为 EE364a。适合已学过凸优化基础、想了解进阶凸优化内容的人阅读。

  11. 11进阶
    项目发布 10-25
    GitHub

    patch-gg/trompe(用图像模型为关卡贴图)

    patch-gg/trompe

    一个开源项目,用于从灰色灰模关卡生成完整贴图:规划玩家视角相机、由图像模型绘制各视角画面、将画面投影回关卡并烘焙成一张贴图。贴图在阴天光照下生成,作为反照率贴图,再由游戏引擎投射真实阴影。相机规划、投影与烘焙在浏览器 GPU 上运行,图像模型运行于 fal,输出 glTF 格式。

多模态与领域探索的其他细分主题