扩散与图像生成

学习扩散、流匹配和图像生成编辑,适合生成模型研究者与图像创作者。

11 条精选 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 1进阶
    博客
    Lilian Weng 博客

    从 GAN 到 WGAN

    From GAN to WGAN

    这篇博客从博弈论视角讲解生成对抗网络(GAN),先用 KL 与 JS 散度铺垫,推导判别器的最优值和全局最优,解释损失函数的含义,再讨论 GAN 训练中的问题(难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标)和改进训练方法。最后介绍 Wasserstein GAN,包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势,以及将其用作 GAN 损失函数,并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。

  2. 2进阶
    博客
    Lilian Weng 博客

    从自编码器到 Beta-VAE

    From Autoencoder to Beta-VAE

    Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器,然后重点讲变分自编码器 VAE(ELBO 损失与重参数化技巧)、Beta-VAE,以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节,附符号表。

  3. 3深入
    博客
    Lilian Weng 博客

    基于流的深度生成模型

    Flow-based Deep Generative Models

    Lil'Log 博客关于流模型(flow-based generative models)的文章。先对比 GAN、VAE 与流模型的区别,回顾雅可比矩阵、行列式与变量变换定理,再介绍归一化流(Normalizing Flows)及 RealNVP、NICE、Glow,以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流,最后提到 VAE + Flows 的组合。

  4. 5深入
    博客
    Lilian Weng 博客

    什么是扩散模型?(Lil'Log 扩散模型详解)

    Lil'Log 博客上的一篇长文,系统讲解扩散模型:前向扩散过程、与随机梯度 Langevin 动力学的联系、反向扩散过程、训练损失的参数化与化简、与噪声条件得分网络(NCSN)的关联、β_t 与反向过程方差的参数化,以及分类器引导和无分类器引导的条件生成、采样加速(蒸馏、一致性模型)、潜变量空间,并设有模型架构与要点小结章节。文章自 2021 年发布后多次更新,陆续补充了 GLIDE、unCLIP、Imagen、潜在扩散模型和渐进蒸馏等内容,开头还对比了 GAN、VAE、流模型等生成模型的局限。适合有深度学习基础、想了解扩散模型原理与推导的读者阅读。

  5. 7深入
    博客发布 07-16
    Google Research

    走向揭开扩散模型创造力之谜

    Towards demystifying the creativity of diffusion models

    这是 Google 研究科学家 Zhengdao Chen 于 2026 年 7 月 15 日发布的博客,讨论扩散模型的"创造力"(生成新数据而非仅记忆训练集)如何成为数学结果。文中称这与神经网络学到"平滑化"的分数函数有关,并介绍在 ICLR 2026 发表的论文《On the Interpolation Effect of Score Smoothing in Diffusion Models》。文中提供论文与代码链接。

  6. 8进阶
    博客必读发布 10-15
    Hugging Face

    在 Diffusers 中欢迎 FLUX.3 Image Klein

    Welcome FLUX.3 Image Klein in Diffusers

    这是 Hugging Face 博客的一篇文章(2026 年 10 月 15 日),介绍 Black Forest Labs 的新开放图像生成模型 FLUX.3 Image Klein 以及它在 Diffusers 中的首日支持。该模型同时支持文生图、多参考图生图和新增的布局控制(在提示词中写边界框指定图像各部分位置),发布了时间步蒸馏版和基础版两个开放检查点,并附带 NVFP4/FP8 权重加载、LoRA 训练脚本和 Modular Diffusers 流水线支持。

多模态与领域探索的其他细分主题