第 9 章　无监督学习

第二部分 · 基础模型课件 28 页讲义约 22 分钟Unsupervised Learning

▶ 浏览课件⬇ 课件 PDF（2.1 MB）📖 教材原书 PDF✎ 习题

学习目标

• 了解无监督学习的三类典型问题：无监督特征学习、概率密度估计、聚类；
• 掌握主成分分析的优化目标与求解（协方差矩阵的特征向量）；
• 理解字典、编码、完备与过完备等概念，掌握稀疏编码的目标函数与交替优化；
• 掌握自编码器及其稀疏、降噪变体；
• 掌握参数密度估计的最大似然解，理解直方图、核密度估计和 K 近邻三种非参数方法。

课件幻灯片

1 / 28

跳转到1. 无监督学习2. 内容3. 无监督学习（ Unsupervised Learning ）4. 典型的无监督学习问题5. 为什么要无监督学习？6. 无监督特征学习7. 主成份分析（Principal Component Analysis，PCA）8. （线性）编码9. 完备性10. 稀疏编码（Sparse Coding）11. 训练过程12. 稀疏编码的优点13. 自编码器（ Auto-Encoder ）14. 稀疏自编码器15. 降噪自编码器16. 概率密度估计17. 概率密度估计18. 参数密度估计19. 参数密度估计20. 参数密度估计一般存在以下问题21. 非参数密度估计22. 直方图方法（Histogram Method）23. 核密度估计（Kernel Density Estimation）24. K近邻方法25. 思考题26. 非参数密度估计27. 知识点28. （图示）

PDF

提示：点击幻灯片左右两侧或使用 ← → 键翻页，手机上左右滑动；按 F 全屏。

讲义

9.1 无监督学习概述

无监督学习是指从无标签的数据中学习出一些有用的模式。与监督学习不同，它不需要人工标注，因此能利用海量的无标注数据。典型的无监督学习问题有：幻灯片 3 幻灯片 4

• 无监督特征学习：从无标签数据中挖掘有效的特征或表示，常用于降维、数据可视化或监督学习前的预处理；
• 概率密度估计：根据一组训练样本估计样本空间的概率密度 $p(\mathit{x})$；
• 聚类：把一组样本按一定准则划分为不同的组（簇），如 K 均值、谱聚类等。

为什么需要无监督学习？Hinton 有一个著名的说法：大脑约有 ${10}^{14}$ 个突触，而人只活约 ${10}^9$ 秒，参数远多于数据——因此大量学习必须是无监督的。LeCun 的“蛋糕”比喻也说明了这一点：强化学习是樱桃，监督学习是糖霜，自监督（无监督）学习才是蛋糕本身。幻灯片 5

9.2 主成分分析

主成分分析（PCA）是最常用的数据降维方法，使得在转换后的空间中数据的方差最大。幻灯片 7 设样本 ${\mathit{x}}^{(n)}\in {\mathbb{R}}^D$ 已中心化，把它投影到单位向量 $\mathit{w}$ 上得到 $z^{(n)}={\mathit{w}}^{\mathrm{\top }}{\mathit{x}}^{(n)}$，投影后的方差为

$$\sigma (\mathit{w})=\frac{1}{N}\sum _{n=1}^N({\mathit{w}}^{\mathrm{\top }}{\mathit{x}}^{(n)}-{\mathit{w}}^{\mathrm{\top }}\overline{\mathit{x}}{)}^2={\mathit{w}}^{\mathrm{\top }}\mathbf{\Sigma }\mathit{w},$$

其中 $\mathbf{\Sigma }$ 是样本协方差矩阵。在约束 ${\mathit{w}}^{\mathrm{\top }}\mathit{w}=1$ 下最大化方差，引入拉格朗日乘子并令梯度为零，得

$$\mathbf{\Sigma }\mathit{w}=\lambda \mathit{w},\sigma (\mathit{w})=\lambda .$$

所以 $\mathit{w}$ 是协方差矩阵的特征向量，方差等于对应的特征值。要降到 $D^{\prime }$ 维，只需取最大的 $D^{\prime }$ 个特征值对应的特征向量组成投影矩阵 $\mathit{W}$。PCA 也可以等价地理解为最小化重构误差。它是一种无监督方法，降维后的特征不一定最利于分类——这时可以考虑有监督的线性判别分析（LDA）。

下面的演示包括 PCA（主成分方向、解释方差与投影）和 K 均值聚类的逐步迭代：

在单独页面中打开：K 均值与 PCA

9.3 稀疏编码

（线性）编码。给定一组基向量 $\mathit{A}=[{\mathit{a}}_1,\cdots ,{\mathit{a}}_M]$（称为字典），把输入表示为基向量的线性组合：幻灯片 8

$$\mathit{x}=\sum _{m=1}^M{z}_m{\mathit{a}}_m=\mathit{A}\mathit{z},$$

$\mathit{z}$ 称为输入 $\mathit{x}$ 的编码。如果 $M$ 个基向量刚好能支撑 $D$ 维空间，称为完备的；如果 $M>D$ 且能支撑 $D$ 维空间，称为过完备的。过完备基向量一般不是线性独立的，编码不唯一，需要额外的约束。幻灯片 9

稀疏编码受哺乳动物视觉系统“少数神经元被激活”的启发，要求编码尽可能稀疏：幻灯片 10

$$\underset{\mathit{A},\mathit{Z}}{min}\sum _{n=1}^N(\Vert {\mathit{x}}^{(n)}-\mathit{A}{\mathit{z}}^{(n)}{\Vert }^2+\eta \rho ({\mathit{z}}^{(n)}))+\lambda \parallel \mathit{A}{\parallel }^2,$$

稀疏性衡量函数 $\rho (\cdot )$ 可以取 ${\ell }_0$ 范数（非零元素个数，不可导），常用的替代有 ${\ell }_1$ 范数 $\sum _m|z_m|$、对数函数 $\sum _m\log (1+z_m^2)$、指数函数 $\sum _m-\exp (-z_m^2)$。

训练过程采用交替优化：幻灯片 11

1. 固定字典 $\mathit{A}$，对每个样本求最优编码 ${\mathit{z}}^{(n)}$（一个 Lasso 类问题）；
2. 固定编码 $\mathit{Z}$，更新字典 $\mathit{A}$（一个最小二乘问题）。

稀疏编码的优点：幻灯片 12 计算量小——稀疏表示中大部分元素为 0，便于后续计算；可解释性——只有少数基被激活，相当于把输入分解为少数几个“模式”；特征选择——自动选择与输入相关的少数特征，降低噪声、减轻过拟合。在自然图像上学到的字典非常类似于初级视觉皮层的 Gabor 状感受野。

9.4 自编码器

自编码器通过无监督的方式学习一组数据的有效编码，由编码器 $f:{\mathbb{R}}^D\to {\mathbb{R}}^M$ 和解码器 $g:{\mathbb{R}}^M\to {\mathbb{R}}^D$ 两部分组成，目标是最小化重构误差：幻灯片 13

$$\mathcal{L}=\sum _{n=1}^N\Vert {\mathit{x}}^{(n)}-g(f({\mathit{x}}^{(n)})){\Vert }^2.$$

最简单的是两层网络：$\mathit{z}=f({\mathit{W}}^{(1)}\mathit{x}+{\mathit{b}}^{(1)})$，${\mathit{x}}^{\prime }=f({\mathit{W}}^{(2)}\mathit{z}+{\mathit{b}}^{(2)})$。如果令 ${\mathit{W}}^{(2)}={\mathit{W}}^{(1)\mathrm{\top }}$，称为捆绑权重，可以减少参数、起到正则化作用。编码维数 $M<D$ 时，自编码器相当于一种降维（线性激活 + 平方误差时，它学到的子空间与 PCA 相同）；$M\ge D$ 时，需要额外的约束避免学到恒等映射。

flowchart LR
  X["输入 x"] --> E["编码器 f"]
  E --> Z["编码 z"]
  Z --> D["解码器 g"]
  D --> R["重构 x'"]
  R -. 重构误差 ‖x − x'‖² .-> X

稀疏自编码器：让隐藏层维数大于输入维数，同时约束编码稀疏：幻灯片 14

$$\mathcal{L}=\sum _{n=1}^N\Vert {\mathit{x}}^{(n)}-{\mathit{x}}^{\prime (n)}{\Vert }^2+\eta \rho (\mathit{Z})+\lambda \parallel \mathit{W}{\parallel }^2.$$

稀疏性常用 KL 散度度量：设第 $j$ 个隐藏神经元的平均活性为 ${\hat{\rho }}_j=\frac{1}{N}\sum _n{z}_j^{(n)}$，希望它接近一个很小的值 ${\rho }^{\ast }$（如 0.05），则 $\rho (\mathit{Z})=\sum _{j=1}^M\mathrm{KL}({\rho }^{\ast }\parallel {\hat{\rho }}_j)=\sum _j({\rho }^{\ast }\log \frac{{\rho }^{\ast }}{{\hat{\rho }}_j}+(1-{\rho }^{\ast })\log \frac{1-{\rho }^{\ast }}{1-{\hat{\rho }}_j})$。

降噪自编码器：通过引入噪声来增加编码鲁棒性。对输入 $\mathit{x}$ 随机把一部分维度置零（或加高斯噪声）得到损坏的输入 $\tilde{\mathit{x}}$，然后让自编码器从 $\tilde{\mathit{x}}$ 重构出原始的无损输入 $\mathit{x}$。这迫使模型学习数据的内在结构，而不是简单地复制输入。幻灯片 15

自编码器也可以堆叠成深层结构（堆叠自编码器），逐层训练后用于初始化深度网络；第 13 章的变分自编码器则把它推广为生成模型。

9.5 概率密度估计

参数密度估计：假设数据服从某个参数化分布 $p(\mathit{x};\theta )$，用最大似然估计参数：${\theta }^{ML}=\arg \underset{\theta }{max}\sum _{n=1}^N\log p({\mathit{x}}^{(n)};\theta )$。幻灯片 18

• 正态分布：${\mathit{\mu }}^{ML}=\frac{1}{N}\sum _n{\mathit{x}}^{(n)}$，${\mathbf{\Sigma }}^{ML}=\frac{1}{N}\sum _n({\mathit{x}}^{(n)}-{\mathit{\mu }}^{ML})({\mathit{x}}^{(n)}-{\mathit{\mu }}^{ML}{)}^{\mathrm{\top }}$；
• 多项分布：设 $K$ 个取值中第 $k$ 个出现了 $m_k$ 次，则 ${\mu }_k^{ML}={\displaystyle \frac{m_k}{N}}$（用拉格朗日乘子处理 $\sum _k{\mu }_k=1$ 的约束）。幻灯片 19

参数密度估计存在以下问题：幻灯片 20 模型选择——真实分布往往难以用简单分布刻画；不可观测变量——数据可能由隐变量生成（如混合模型，需要 EM 算法，见第 11 章）；维度灾难——高维数据的参数估计需要大量样本，例如 $D$ 维高斯的协方差有 $O(D^2)$ 个参数。

非参数密度估计不假设分布的具体形式。对点 $\mathit{x}$ 附近体积为 $V$ 的小区域 $\mathcal{R}$，若 $N$ 个样本中有 $K$ 个落入该区域，当 $N$ 足够大、$V$ 足够小时：幻灯片 21

$$p(\mathit{x})\approx \frac{K}{NV}.$$

由此有两种做法：固定 $V$ 统计 $K$（直方图、核密度估计），或固定 $K$ 求 $V$（K 近邻）。

• 直方图方法：把每一维划分为若干箱，统计每个箱中的样本数。简单直观，但对箱宽敏感，且箱的数量随维数指数增长，一般只适用于低维。幻灯片 22
• 核密度估计（Parzen 窗方法）：以 $\mathit{x}$ 为中心定义一个宽度为 $H$ 的超立方体，用核函数 $\varphi (\mathit{z})=1$（若 $|z_i|<\frac{1}{2},\mathrm{\forall }i$），否则为 0。落入超立方体的样本数为 $K=\sum _n\varphi (\frac{\mathit{x}-{\mathit{x}}^{(n)}}{H})$，于是 $p(\mathit{x})=\frac{K}{N{H}^D}$。为得到更平滑的估计，可改用高斯核 $\varphi (\mathit{z})=\frac{1}{(2\pi {)}^{D/2}}\exp (-\frac{1}{2}\parallel \mathit{z}{\parallel }^2)$。幻灯片 23
• K 近邻方法：固定 $K$，找一个以 $\mathit{x}$ 为中心、恰好包含 $K$ 个样本的最小区域，用其体积 $V$ 估计密度。在样本稠密处区域小，稀疏处区域大，能自适应地调整“窗宽”。幻灯片 24

本章小结

• 无监督学习包括特征学习、密度估计和聚类，不依赖标注，能利用海量数据。
• PCA 取协方差矩阵最大特征值的特征向量；稀疏编码学习过完备字典与稀疏编码，交替优化。
• 自编码器最小化重构误差；稀疏自编码器约束隐层活性，降噪自编码器从损坏的输入重构原始输入。
• 参数密度估计用最大似然，非参数密度估计基于 $p(\mathit{x})\approx K/(NV)$：直方图、核密度估计固定 $V$，K 近邻固定 $K$。幻灯片 27

思考题与习题

1. （推导） 证明 PCA 中“最大化投影方差”与“最小化重构误差”是等价的。
2. （计算） 二维数据的协方差矩阵为 $\mathbf{\Sigma }=\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right]$，求第一主成分方向及其解释的方差比例。
3. （分析） 对比稀疏编码与自编码器：二者各自的“编码器”是什么？推断（求编码）时的计算代价有何不同？
4. （概念） 为什么过完备（$M>D$）的自编码器如果不加约束容易学到恒等映射？列举三种避免方式。
5. （推导） 推导多项分布参数的最大似然估计 ${\mu }_k=m_k/N$。
6. （思考，课件第 25 页） 核密度估计中窗宽 $H$ 过大或过小分别会带来什么问题？如何选择 $H$？
7. （编程） 在 MNIST 上训练一个隐层维数为 32 的自编码器和降噪自编码器，比较重构效果，并用 t-SNE 可视化编码。

部分提示

• 第 2 题：特征值为 4 和 2，第一主成分方向 $\frac{1}{\sqrt{2}}[1,1{]}^{\mathrm{\top }}$，解释方差比例 $4/6\approx 66.7\mathrm{\%}$。
• 第 4 题：瓶颈结构（$M<D$）、稀疏约束、输入加噪声、正则化（如收缩自编码器）。
• 第 6 题：$H$ 过大则过度平滑、丢失细节；过小则估计尖锐、方差大。可用交叉验证（最大化验证集对数似然）选择。

延伸阅读

• 交互：K 均值与 PCA。
• 教材：邱锡鹏《神经网络与深度学习》第 9 章「无监督学习」。
• Olshausen B A, Field D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images, Nature 1996；Vincent P, et al. Extracting and composing robust features with denoising autoencoders, ICML 2008。
• Bishop C M. Pattern Recognition and Machine Learning, 第 2.5 节（非参数方法）、第 12 章（PCA）。
• 第二版对应章节：第 10 章「无监督学习」。