第 13 章　深度生成模型

第三部分 · 进阶模型课件 64 页讲义约 32 分钟Deep Generative Models

▶ 浏览课件⬇ 课件 PDF（5.4 MB）📖 教材原书 PDF✎ 习题

学习目标

• 理解概率生成模型的两个基本功能（密度估计与生成样本）以及隐变量建模的思路；
• 掌握变分自编码器的结构、目标函数（ELBO）和再参数化技巧；
• 掌握生成对抗网络的极小极大目标和交替训练过程，了解 DCGAN 的设计要点；
• 理解原始 GAN 的理论缺陷：JS 散度导致的梯度消失、逆向 KL 导致的模型坍塌；
• 理解 Wasserstein 距离与 WGAN 的动机，了解 LSGAN、f-GAN 及条件生成的各种扩展。

课件幻灯片

1 / 64

跳转到1. 深度生成模型 Deep Generative Models2. 参考3. 生成模型 Generative Models4. 机器学习的两种范式5. 生成模型：一系列用于随机生成可观测数据的模型6. 生成数据的另一种思路7. 深度生成模型8. 变分自编码器 Variational Autoencoder，VAE9. 概率生成模型10. EM算法回顾11. 变分自编码器(VAE)12. 变分自编码器13. 推断网络14. 生成网络15. 模型汇总16. 再参数化17. 变分自编码器的训练过程18. 变分自编码器学习到的隐变量流形19. 生成对抗网络 Generative Adversarial Network（GA20. 显式密度模型和隐式密度模型21. 生成网络22. 生成网络示例23. 判别网络24. MinMax Game25. 对抗过程26. MinMax Game27. 训练过程28. Anime Face Generation29. Anime Face Generation30. Anime Face Generation31. 一个具体的模型：DCGANs32. DCGANs33. 模型分析34. 数据分布35. 模型分析36. 不稳定性：生成网络的梯度消失37. 模型坍塌：生成网络的“错误”目标38. 前向和逆向KL散度39. 前向和逆向KL散度40. 改进41. Least Square GAN (LSGAN)42. f-GAN43. f-GAN44. Wasserstein GAN45. Wasserstein距离46. Wasserstein距离47. Kantorovich- Rubinstein 对偶定理48. Lipschitz连续函数49. Wasserstein GAN50. 梯度问题51. DCGAN52. DCGAN53. DCGAN54. GAN的扩展55. 条件生成56. 条件生成57. Conditional GAN58. （图示）59. InfoGAN60. https://arxiv.org/abs/1606.0365761. https://arxiv.org/abs/1606.0365762. AC-GAN63. BiGAN64. 谢 谢 https://nndl.github.io/

PDF

提示：点击幻灯片左右两侧或使用 ← → 键翻页，手机上左右滑动；按 F 全屏。

讲义

13.1 概率生成模型

机器学习有两种范式：判别模型直接学习 $p(y\mid \mathit{x})$，生成模型学习数据的分布 $p(\mathit{x})$（或 $p(\mathit{x},y)$）。幻灯片 4 概率生成模型包括两个基本功能：幻灯片 5

• 概率密度估计：给定样本，估计 $p_r(\mathit{x})$；
• 生成样本：从估计的分布中生成新的样本，例如生成图像、文本、语音。

高维数据（如图像）的分布非常复杂，各维之间存在复杂的依赖关系，很难直接建模。一种思路是引入低维的隐变量 $\mathit{z}$：先从一个简单分布（如标准正态分布）中采样 $\mathit{z}$，再通过一个复杂的映射（神经网络）$g(\mathit{z})$ 把它变换到数据空间。幻灯片 6 幻灯片 7

flowchart LR
  G["深度生成模型"] --> E["显式密度模型<br/>建模 p(x)"]
  G --> I["隐式密度模型<br/>只学习采样过程"]
  E --> V["变分自编码器 VAE<br/>近似推断 + 最大化 ELBO"]
  E --> O["自回归模型 / 流模型 / 扩散模型 …"]
  I --> GAN["生成对抗网络 GAN<br/>对抗训练"]

13.2 变分自编码器

含隐变量的生成模型：$p(\mathit{x},\mathit{z};\theta )=p(\mathit{x}\mid \mathit{z};\theta )p(\mathit{z};\theta )$。要最大化边际似然 $\log p(\mathit{x};\theta )$，第 11 章的 EM 算法给出了思路：幻灯片 9 幻灯片 10

$$\log p(\mathit{x};\theta )=\mathrm{ELBO}(q,\mathit{x};\theta ,\varphi )+\mathrm{KL}(q(\mathit{z};\varphi )\parallel p(\mathit{z}\mid \mathit{x};\theta )).$$

但当 $p(\mathit{x}\mid \mathit{z};\theta )$ 由神经网络建模时，后验 $p(\mathit{z}\mid \mathit{x};\theta )$ 无法计算，E 步无法精确进行。变分自编码器（VAE）的思路是：用两个神经网络分别近似这两个分布：幻灯片 11 幻灯片 12

• 推断网络（编码器）$f_I(\mathit{x};\varphi )$：输出近似后验 $q(\mathit{z}\mid \mathit{x};\varphi )$ 的参数。通常假设它是对角高斯分布 $\mathcal{N}(\mathit{z};{\mathit{\mu }}_I,{\mathit{\sigma }}_I^2\mathit{I})$，网络输出 ${\mathit{\mu }}_I$ 和 $\log {\mathit{\sigma }}_I^2$；幻灯片 13
• 生成网络（解码器）$f_G(\mathit{z};\theta )$：输出 $p(\mathit{x}\mid \mathit{z};\theta )$ 的参数——二值数据用伯努利分布，连续数据用高斯分布。隐变量先验取标准正态 $p(\mathit{z})=\mathcal{N}(\mathbf{0},\mathit{I})$。幻灯片 14

VAE 的目标是最大化 ELBO：幻灯片 15

$$\mathcal{J}(\varphi ,\theta \mid \mathit{x})=\underset{\text{重构项}}{\underbrace{{\mathbb{E}}_{\mathit{z}\sim q(\mathit{z}\mid \mathit{x};\varphi )}[\log p(\mathit{x}\mid \mathit{z};\theta )]}}-\underset{\text{正则项}}{\underbrace{\mathrm{KL}(q(\mathit{z}\mid \mathit{x};\varphi )\parallel p(\mathit{z}))}}.$$

第一项鼓励解码器能从 $\mathit{z}$ 重构 $\mathit{x}$，第二项让近似后验接近先验。两个都是高斯分布时 KL 项有解析解：

$$\mathrm{KL}(\mathcal{N}({\mathit{\mu }}_I,{\mathit{\sigma }}_I^2\mathit{I})\parallel \mathcal{N}(\mathbf{0},\mathit{I}))=\frac{1}{2}\sum _d({\sigma }_{I,d}^2+{\mu }_{I,d}^2-1-\log {\sigma }_{I,d}^2).$$

再参数化。重构项中的期望需要采样 $\mathit{z}\sim q(\mathit{z}\mid \mathit{x};\varphi )$，而采样操作对 $\varphi$ 不可导。再参数化技巧把随机性转移到一个与参数无关的噪声上：幻灯片 16

$$\mathit{z}={\mathit{\mu }}_I+{\mathit{\sigma }}_I\odot \mathit{ϵ},\mathit{ϵ}\sim \mathcal{N}(\mathbf{0},\mathit{I}).$$

这样 $\mathit{z}$ 就成为 $\varphi$ 的确定性可导函数，整个网络可以端到端地用梯度下降训练。幻灯片 17 训练好之后，从 $\mathcal{N}(\mathbf{0},\mathit{I})$ 采样 $\mathit{z}$ 送入生成网络即可生成新样本；在二维隐空间中，可以看到 VAE 学到了平滑连续的数据流形（如手写数字的笔画粗细与倾斜的渐变）。幻灯片 18

13.3 生成对抗网络

VAE 等显式密度模型需要构建 $p(\mathit{x})$ 的具体形式。如果只是希望生成样本，可以不显式地估计密度，而是直接学习一个从隐空间到数据空间的映射 $G:\mathit{z}\mapsto \mathit{x}$——这就是隐式密度模型。问题是：没有密度函数，如何衡量生成分布与真实分布的差距？幻灯片 20 生成对抗网络（GAN）的答案是：再训练一个网络来判断。幻灯片 21

• 判别网络 $D(\mathit{x};\varphi )$：判断样本来自真实分布还是生成网络，输出 $\mathit{x}$ 为真实样本的概率，用交叉熵训练；幻灯片 23
• 生成网络 $G(\mathit{z};\theta )$：目标是让判别网络把它生成的样本误判为真实样本。

二者构成一个极小极大博弈：幻灯片 24 幻灯片 26

$$\underset{\theta }{min}\underset{\varphi }{max}({\mathbb{E}}_{\mathit{x}\sim p_r(\mathit{x})}[\log D(\mathit{x};\varphi )]+{\mathbb{E}}_{\mathit{z}\sim p(\mathit{z})}[\log (1-D(G(\mathit{z};\theta );\varphi ))]).$$

训练过程：交替训练判别网络和生成网络——每次迭代中，先固定 $G$，更新 $D$ 若干步（$K$ 步）；再固定 $D$，更新 $G$ 一步。实践中，生成网络常用 $\underset{\theta }{max}{\mathbb{E}}_{\mathit{z}}[\log D(G(\mathit{z};\theta ))]$ 代替原目标，以在训练初期获得更大的梯度。幻灯片 27 课件中的动漫人脸生成示例展示了随训练轮数生成质量的逐步提升。幻灯片 28 幻灯片 30

DCGAN：一个经典的卷积 GAN 结构。其要点包括：用带步长的卷积（判别网络）和转置卷积（生成网络）代替汇聚层；除生成网络输出层与判别网络输入层外都使用批量归一化；去掉全连接隐藏层；生成网络用 ReLU（输出层 Tanh），判别网络用 LeakyReLU。DCGAN 的隐空间还表现出有趣的“向量算术”性质（如“戴眼镜的男人 − 男人 + 女人 = 戴眼镜的女人”）。幻灯片 31 幻灯片 32 幻灯片 51

在一维数据上实时训练一个小型 GAN，观察生成分布逼近真实分布、判别器输出趋于 0.5，以及双峰目标下的模式坍塌：

在单独页面中打开：一维 GAN 训练

13.4 模型分析

最优判别网络。固定 $G$ 时（设生成分布为 $p_{\theta }$），最优判别网络为 幻灯片 33 幻灯片 35

$$D^{\star }(\mathit{x})=\frac{p_r(\mathit{x})}{p_r(\mathit{x})+p_{\theta }(\mathit{x})}.$$

代入目标函数，生成网络的目标变为

$$\mathcal{L}(G\mid D^{\star })=2\mathrm{JS}(p_r\parallel p_{\theta })-2\log 2.$$

因此当判别网络最优时，训练生成网络等价于最小化真实分布与生成分布的 JS 散度，在 $p_{\theta }=p_r$ 时达到最优，此时 $D^{\star }\equiv \frac{1}{2}$。

不稳定性：生成网络的梯度消失。真实分布和生成分布通常都是高维空间中的低维流形，二者几乎没有重叠。此时无论它们相距多远，JS 散度都恒为常数 $\log 2$，生成网络得不到有效的梯度。实践中如果判别网络训练得太好，生成网络就会梯度消失；判别网络太差，又无法提供正确的指导——这使得 GAN 的训练非常依赖两者之间的平衡。幻灯片 36

模型坍塌：使用改进的生成网络目标 $max\mathbb{E}[\log D(G(\mathit{z}))]$ 时，可以推出它等价于最小化 幻灯片 37

$$\mathrm{KL}(p_{\theta }\parallel p_r)-2\mathrm{JS}(p_r\parallel p_{\theta }),$$

其中 JS 项为负，会“推开”两个分布；而逆向 KL 散度 $\mathrm{KL}(p_{\theta }\parallel p_r)$ 有如下特点：幻灯片 38 幻灯片 39

	前向 KL $\mathrm{KL}(p_r\Vert p_{\theta })$	逆向 KL $\mathrm{KL}(p_{\theta }\Vert p_r)$
惩罚	$p_r>0$ 而 $p_{\theta }\to 0$ 时惩罚很大	$p_{\theta }>0$ 而 $p_r\to 0$ 时惩罚很大
结果	覆盖所有模态（模态覆盖），可能生成模糊样本	只集中于少数模态（模态寻找）

逆向 KL 使生成网络倾向于只生成“安全”的少数几种样本，缺乏多样性——这就是模型坍塌。

13.5 改进模型

• LSGAN：用最小二乘损失代替交叉熵，对远离决策边界但被判为真的生成样本也给予惩罚，缓解梯度消失。幻灯片 41
• f-GAN：把 GAN 推广到任意 $f$ 散度 $D_f(p_r\parallel p_{\theta })=\int p_{\theta }(\mathit{x})f(\frac{p_r(\mathit{x})}{p_{\theta }(\mathit{x})})d\mathit{x}$（如 KL、逆 KL、JS），通过凸共轭得到可优化的变分下界。幻灯片 42 幻灯片 43
• Wasserstein GAN：用 Wasserstein 距离（推土机距离）度量两个分布的差异：幻灯片 44 幻灯片 45

$$W(p_r,p_{\theta })=\underset{\gamma \sim \mathrm{\Gamma }(p_r,p_{\theta })}{inf}{\mathbb{E}}_{(\mathit{x},\mathit{y})\sim \gamma }[\parallel \mathit{x}-\mathit{y}\parallel ],$$

即把一个分布“搬运”成另一个分布的最小代价。即使两个分布没有重叠，Wasserstein 距离也能随距离平滑变化，提供有意义的梯度。幻灯片 46 根据 Kantorovich–Rubinstein 对偶，幻灯片 47

$$W(p_r,p_{\theta })=\underset{\parallel f{\parallel }_L\le 1}{sup}({\mathbb{E}}_{\mathit{x}\sim p_r}[f(\mathit{x})]-{\mathbb{E}}_{\mathit{x}\sim p_{\theta }}[f(\mathit{x})]),$$

上确界取遍所有 1-Lipschitz 连续函数（$|f({\mathit{x}}_1)-f({\mathit{x}}_2)|\le \parallel {\mathit{x}}_1-{\mathit{x}}_2\parallel$）。幻灯片 48 WGAN 用一个神经网络（称为评价网络，去掉了最后的 Sigmoid）来近似 $f$，通过权重裁剪（把参数限制在 $[-c,c]$）满足 Lipschitz 约束；后续的 WGAN-GP 改用梯度惩罚。WGAN 的评价网络即使训练到最优，也能给生成网络提供稳定的梯度，训练更稳定，且损失值与生成质量相关。幻灯片 49 幻灯片 50

13.6 GAN 的扩展

条件生成：在生成网络和判别网络的输入中都加入条件 $\mathit{c}$（如类别标签、文本描述、另一张图像），实现可控的生成，例如根据文本生成图像、图像到图像的转换（pix2pix、CycleGAN）。幻灯片 55 幻灯片 57

• InfoGAN：把隐变量分为无结构噪声 $\mathit{z}$ 和隐编码 $\mathit{c}$，并最大化 $\mathit{c}$ 与生成样本之间的互信息，从而在无监督的情况下学到可解释的表示（如数字类别、倾斜、粗细）。幻灯片 59
• AC-GAN：判别网络除了判断真假，还要预测样本的类别，提高了条件生成的质量。幻灯片 62
• BiGAN：同时学习生成网络 $G:\mathit{z}\to \mathit{x}$ 和编码器 $E:\mathit{x}\to \mathit{z}$，判别网络对 $(\mathit{x},E(\mathit{x}))$ 和 $(G(\mathit{z}),\mathit{z})$ 进行判别，使 GAN 也能做推断。幻灯片 63

本章介绍的是第一版教材的内容。近几年，扩散模型和基于 Transformer 的自回归模型在图像、视频和文本生成上取得了更大的成功，第二版教材对生成模型部分做了相应扩充。

本章小结

• 深度生成模型用神经网络把简单分布的隐变量映射到复杂的数据分布。
• VAE：推断网络近似后验、生成网络建模似然，最大化 ELBO = 重构项 − KL 正则项；再参数化 $\mathit{z}=\mathit{\mu }+\mathit{\sigma }\odot \mathit{ϵ}$ 使采样可导。
• GAN：生成网络与判别网络的极小极大博弈，最优判别器下等价于最小化 JS 散度；存在梯度消失与模型坍塌问题。
• WGAN 用 Wasserstein 距离提供平滑梯度；条件 GAN、InfoGAN、AC-GAN、BiGAN 扩展了可控性与推断能力。

思考题与习题

1. （推导） 推导两个对角高斯分布 $\mathcal{N}(\mathit{\mu },\mathrm{diag}({\mathit{\sigma }}^2))$ 与 $\mathcal{N}(\mathbf{0},\mathit{I})$ 之间 KL 散度的解析式。
2. （分析） 如果 VAE 的 KL 项权重过大或过小（如 $\beta$-VAE），生成样本和隐空间会有什么变化？
3. （推导） 固定生成网络，推导最优判别网络 $D^{\star }(\mathit{x})=\frac{p_r(\mathit{x})}{p_r(\mathit{x})+p_{\theta }(\mathit{x})}$，并证明此时生成网络的目标为 $2\mathrm{JS}(p_r\parallel p_{\theta })-2\log 2$。
4. （计算） 设 $p_r$ 是 $x=0$ 处的点质量分布，$p_{\theta }$ 是 $x=\theta$ 处的点质量分布（$\theta \ne 0$）。分别计算 JS 散度和 Wasserstein 距离，说明为什么 WGAN 能提供更好的梯度。
5. （概念） 用前向 / 逆向 KL 散度的性质解释：为什么 VAE 生成的图像通常比较模糊，而 GAN 容易出现模型坍塌？
6. （编程） 在 MNIST 上分别训练一个 VAE 和一个 DCGAN（隐变量维数均为 2 或 16），比较生成样本的清晰度与多样性；对 VAE 画出二维隐空间的流形。

部分提示

• 第 1 题：$\frac{1}{2}\sum _d({\sigma }_d^2+{\mu }_d^2-1-\log {\sigma }_d^2)$。
• 第 3 题：目标对每个 $\mathit{x}$ 是 $p_r\log D+p_{\theta }\log (1-D)$，对 $D$ 求导令其为 0。
• 第 4 题：$\mathrm{JS}=\log 2$（与 $\theta$ 无关，梯度为 0）；$W=|\theta |$（梯度指向 $\theta \to 0$）。
• 第 5 题：最大似然对应前向 KL（模态覆盖，倾向“平均”）；GAN 的改进目标包含逆向 KL（模态寻找）。

延伸阅读

• 教材：邱锡鹏《神经网络与深度学习》第 13 章「深度生成模型」。
• Kingma D P, Welling M. Auto-encoding variational Bayes, ICLR 2014；Goodfellow I, et al. Generative adversarial nets, NeurIPS 2014；Radford A, et al. DCGAN, ICLR 2016；Arjovsky M, et al. Wasserstein GAN, ICML 2017。
• Ho J, et al. Denoising diffusion probabilistic models, NeurIPS 2020（扩散模型入门）。
• 实践：nndl-practice 中的生成模型相关章节。
• 交互：一维 GAN 训练。
• 第二版对应章节：第 16 章「深度生成模型」。