第 5 章　卷积神经网络

第二部分 · 基础模型课件 51 页讲义约 30 分钟Convolutional Neural Networks

▶ 浏览课件⬇ 课件 PDF（4.3 MB）📖 教材原书 PDF✎ 习题

学习目标

• 理解全连接网络处理图像的两个问题，以及卷积网络的三个结构特性：局部连接、权重共享、汇聚；
• 掌握一维、二维卷积与互相关的计算，能根据步长与零填充计算输出尺寸；
• 掌握卷积层与汇聚层的结构、参数量计算，了解卷积网络的典型整体结构；
• 了解转置卷积、空洞卷积与感受野的概念；
• 掌握 LeNet-5、AlexNet、Inception、ResNet 的核心设计思想，理解残差连接；
• 了解卷积网络在文本与各类视觉任务中的应用。

课件幻灯片

1 / 51

跳转到1. 卷积神经网络2. 全连接前馈神经网络3. 卷积神经网络4. 卷积5. 卷积6. 卷积7. 卷积8. 卷积扩展9. 卷积类型10. 两维卷积11. 卷积作为特征提取器12. 二维卷积13. 卷积神经网络14. 互相关15. 多个卷积核16. 卷积层的映射关系17. 步长2 filter 3*3 filter个数6 零填充 118. 卷积层19. 汇聚层20. 卷积网络结构21. 表示学习22. 表示学习23. 其它卷积种类24. 转置卷积/微步卷积25. 空洞卷积26. 典型的卷积网络27. LeNet-528. Large Scale Visual Recognition Challenge29. AlexNet30. Inception网络31. Inception模块 v132. Inception模块 v333. 残差网络34. 残差单元35. ResNet36. Ngram特征与卷积37. 文本序列的卷积38. 基于卷积模型的句子表示39. 文本序列的卷积模型40. CNN 可视化：滤波器41. 卷积的应用42. AlphaGo43. 目标检测（Object Detection）44. Mask RCNN45. OCR46. 图像生成47. Deep Dream48. 画风迁移49. 对抗样本50. 课后作业51. https://nndl.github.io/

PDF

提示：点击幻灯片左右两侧或使用 ← → 键翻页，手机上左右滑动；按 F 全屏。

讲义

5.1 为什么需要卷积网络

用全连接前馈网络处理图像有两个问题：幻灯片 2

1. 参数太多。一张 $100\times 100\times 3$ 的彩色图像，第一个隐藏层的每个神经元就有 30,000 个权重；隐藏层越大，参数越多，训练效率低且容易过拟合。
2. 难以提取局部不变性特征。自然图像中的物体具有局部不变性：尺度缩放、平移、旋转不影响其语义，而全连接网络很难提取这类特征，通常需要大量数据增强。

卷积神经网络（CNN）是一种受生物学上感受野机制启发的前馈网络：视觉神经系统中，一个神经元只对视网膜上特定区域内的刺激产生响应。卷积网络有三个结构上的特性：局部连接、权重共享、空间或时间上的次采样（汇聚）。这使它具有一定程度的平移、缩放和扭曲不变性，并且参数远少于全连接网络。幻灯片 3

5.2 卷积

一维卷积常用于信号处理中计算信号的延迟累积。设信号发生器在每个时刻 $t$ 产生信号 $x_t$，信息的衰减率为 $w_k$（即经过 $k-1$ 个时间步后信息变为原来的 $w_k$ 倍），则时刻 $t$ 收到的信号是当前信息与之前延迟信息的叠加：幻灯片 4

$$y_t=\sum _{k=1}^K{w}_k{x}_{t-k+1},$$

例如 $w_1=1,w_2=1/2,w_3=1/4$ 时，$y_t=x_t+\frac{1}{2}{x}_{t-1}+\frac{1}{4}{x}_{t-2}$。$\mathit{w}=[w_1,\cdots ,w_K]$ 称为滤波器或卷积核，记作 $\mathit{y}=\mathit{w}\ast \mathit{x}$。幻灯片 5 不同的滤波器提取不同的特征：$\mathit{w}=[1/3,1/3,1/3]$ 做平滑，检测信号的低频信息；$\mathit{w}=[1,-2,1]$ 近似二阶微分，检测高频信息。幻灯片 7

步长与零填充。滤波器的滑动步长 $S$ 和两端的零填充 $P$ 决定了输出长度：输入长度为 $M$、卷积核大小为 $K$ 时，输出长度为 $(M-K+2P)/S+1$。幻灯片 8 按输出长度可以分为三类：幻灯片 9

• 窄卷积：$S=1$，$P=0$，输出长度 $M-K+1$；
• 宽卷积：$S=1$，$P=K-1$，输出长度 $M+K-1$；
• 等宽卷积：$S=1$，$P=(K-1)/2$，输出长度 $M$。早期文献中卷积默认指窄卷积，目前一般默认指等宽卷积。

二维卷积。图像是二维矩阵，给定图像 $\mathit{X}\in {\mathbb{R}}^{M\times N}$ 和滤波器 $\mathit{W}\in {\mathbb{R}}^{U\times V}$，其卷积为 幻灯片 10

$$y_{ij}=\sum _{u=1}^U\sum _{v=1}^V{w}_{uv}{x}_{i-u+1,j-v+1}.$$

在图像处理中，均值滤波、高斯滤波、Sobel 边缘检测等都是二维卷积；在卷积网络里，卷积核是学出来的，卷积成为一种特征提取器，其输出称为特征映射（feature map）。幻灯片 11

互相关。计算卷积需要先把卷积核翻转 180°，但在神经网络中卷积的目的是提取特征，卷积核是否翻转并不影响特征提取能力，翻转是不必要的。因此实际使用互相关（cross-correlation）代替卷积：幻灯片 14

$$y_{ij}=\sum _{u=1}^U\sum _{v=1}^V{w}_{uv}{x}_{i+u-1,j+v-1},\mathit{Y}=\mathit{W}\otimes \mathit{X}=\mathrm{rot}180(\mathit{W})\ast \mathit{X}.$$

除非特别声明，深度学习中的“卷积”一般都指互相关。下面的演示可以一步步查看二维卷积（互相关）的计算过程，并验证输出尺寸公式：

5.3 卷积层与汇聚层

用卷积层代替全连接层。把全连接层换成卷积层后，第 $l$ 层的每个神经元只与第 $l-1$ 层局部窗口内的神经元相连（局部连接），且所有神经元共用同一个卷积核（权重共享），连接数和参数量都大大减少。幻灯片 13

多个卷积核与三维结构。一个卷积核只能提取一种特征，为提高表示能力，每层使用多个卷积核得到多个特征映射。幻灯片 15 典型的卷积层是三维结构：输入特征映射组 $\mathcal{X}\in {\mathbb{R}}^{M\times N\times D}$（例如 RGB 图像 $D=3$），输出特征映射组 $\mathcal{Y}\in {\mathbb{R}}^{M^{\prime }\times N^{\prime }\times P}$，卷积核 $\mathcal{W}\in {\mathbb{R}}^{U\times V\times P\times D}$。第 $p$ 个输出特征映射为 幻灯片 16 幻灯片 18

$${\mathit{Z}}^p={\mathit{W}}^p\otimes \mathcal{X}+b^p=\sum _{d=1}^D{\mathit{W}}^{p,d}\otimes {\mathit{X}}^d+b^p,{\mathit{Y}}^p=f({\mathit{Z}}^p).$$

该层共有 $P\times D\times (U\times V)+P$ 个参数。例如课件中的例子：输入 3 个特征映射，2 组 $3\times 3$ 卷积核，步长 2、零填充 1——每个输出特征映射都由 3 个输入通道上的卷积结果相加得到。幻灯片 17

汇聚层（池化层）。卷积层显著减少了连接数，但特征映射中的神经元个数并没有显著减少。汇聚层进行特征选择、降低特征数量：把每个特征映射划分为若干区域 $R_{m,n}^d$，用一个值概括该区域：幻灯片 19

$$\text{最大汇聚：}{y}_{m,n}^d=\underset{i\in R_{m,n}^d}{max}{x}_i,\text{平均汇聚：}{y}_{m,n}^d=\frac{1}{|R_{m,n}^d|}\sum _{i\in R_{m,n}^d}{x}_i.$$

典型的汇聚层是 $2\times 2$ 窗口、步长 2 的最大汇聚，可以使特征映射的面积缩小为原来的 1/4，同时带来对小幅平移的不变性。

整体结构。卷积网络由卷积层、汇聚层、全连接层交叉堆叠而成：一个卷积块为连续 $M$ 个卷积层和 $b$ 个汇聚层（$M$ 通常为 2∼5，$b$ 为 0 或 1）；网络堆叠 $N$ 个卷积块（$N$ 可以从 1 到 100 甚至更大），最后接 $K$ 个全连接层（$K$ 一般为 0∼2）。目前的趋势是使用更小的卷积核（如 $1\times 1$、$3\times 3$）和更深的结构，并逐渐用步长卷积代替汇聚层、用全局平均汇聚代替全连接层，趋向全卷积网络。幻灯片 20

flowchart LR
  I["输入图像"] --> C1["卷积 + ReLU<br/>× M"] --> P1["汇聚"] --> C2["卷积块 × N"] --> F["全连接 × K"] --> O["Softmax 输出"]

卷积网络的各层学到的是层次化的表示：底层检测边缘、颜色、纹理，中层检测部件，高层检测物体整体。幻灯片 21

5.4 其他卷积方式

转置卷积。卷积通常把高维特征映射到低维特征；反过来，从低维特征映射到高维特征的操作称为转置卷积（有时也误称为“反卷积”）。若卷积可以写成 $\mathit{z}=\mathit{W}\mathit{x}$，则转置卷积对应 $\mathit{x}={\mathit{W}}^{\mathrm{\top }}\mathit{z}$。步长 $S>1$ 的转置卷积相当于在输入元素之间插入 $S-1$ 个 0 后再做步长为 1 的卷积，因此也称为微步卷积（fractionally-strided convolution），常用于图像生成与语义分割中的上采样。幻灯片 24

感受野与空洞卷积。增加输出单元感受野的方法有：增大卷积核、增加层数（两层 $3\times 3$ 卷积的感受野相当于一层 $5\times 5$）、在卷积前进行汇聚（会损失信息）。空洞卷积（dilated / atrous convolution）通过给卷积核插入“空洞”来变相增大其尺寸而不增加参数：膨胀率为 $D$ 时，大小为 $K$ 的卷积核的有效大小为 $K^{\prime }=K+(K-1)\times (D-1)$。幻灯片 25

堆叠卷积层与汇聚层，计算每层的输出尺寸与感受野，点击顶层神经元查看它对应的输入范围：

在单独页面中打开：感受野与输出尺寸

5.5 典型的卷积网络

LeNet-5（LeCun 等, 1998）是一个非常成功的早期卷积网络，基于它的手写数字识别系统在 20 世纪 90 年代被美国很多银行用于识别支票上的数字。它共 7 层（不含输入）：幻灯片 27

层	类型	输出	说明
输入	—	$32\times 32$	灰度图像
C1	卷积	$6\times 28\times 28$	6 个 $5\times 5$ 卷积核，参数 $6\times 25+6=156$，连接数 122,304
S2	汇聚	$6\times 14\times 14$	$2\times 2$ 窗口
C3	卷积	$16\times 10\times 10$	用连接表定义输入 / 输出特征映射的连接关系，共 60 个 $5\times 5$ 卷积核
S4	汇聚	$16\times 5\times 5$	$2\times 2$ 窗口
C5	卷积	$120$	$120\times 16=1920$ 个 $5\times 5$ 卷积核
F6	全连接	$84$
输出	—	$10$	10 个类别

AlexNet（Krizhevsky 等, 2012）是第一个现代深度卷积网络，以 top-5 错误率 16% 赢得 ILSVRC 2012（第二名为 26%）。它包含 5 个卷积层、3 个汇聚层和 3 个全连接层，首次使用了许多现代技术：GPU 并行训练、ReLU 激活函数、Dropout 防止过拟合、数据增强。幻灯片 29

Inception 网络（GoogLeNet, 2014 年 ILSVRC 冠军，22 层）参数量仅约 400 万（AlexNet 约 6000 万），top-5 错误率 6.7%。幻灯片 30 如何设置卷积核大小是卷积网络设计的关键问题，Inception 的思路是“全都要”：一个 Inception 模块同时使用 $1\times 1$、$3\times 3$、$5\times 5$ 等不同大小的卷积和 $3\times 3$ 最大汇聚，并把得到的特征映射在深度上拼接；为减少计算量，在 $3\times 3$、$5\times 5$ 卷积之前先用 $1\times 1$ 卷积降低通道数。幻灯片 31 Inception v3 进一步用多层小卷积核替换大卷积核：用两层 $3\times 3$ 卷积替换 $5\times 5$，用连续的 $n\times 1$ 和 $1\times n$ 卷积替换 $n\times n$ 卷积。幻灯片 32

残差网络（ResNet, He 等, 2015）通过给非线性的卷积层增加直连边（shortcut connection）来提高信息的传播效率。幻灯片 33 设希望一个非线性单元 $f(\mathit{x};\theta )$ 去逼近目标函数 $h(\mathit{x})$。把目标函数拆成恒等函数和残差函数两部分：

$$h(\mathit{x})=\underset{\text{恒等函数}}{\underbrace{\mathit{x}}}+\underset{\text{残差函数}}{\underbrace{(h(\mathit{x})-\mathit{x})}}.$$

根据通用近似定理，非线性单元既能逼近原始目标函数，也能逼近残差函数，但后者更容易学习。因此让 $f(\mathit{x};\theta )$ 去逼近残差 $h(\mathit{x})-\mathit{x}$，输出 $f(\mathit{x};\theta )+\mathit{x}$，这就是残差单元。幻灯片 34 直连边让梯度可以不经衰减地直接传回浅层，有效缓解了深层网络的梯度消失和退化问题。ResNet 以 152 层的深度赢得 ILSVRC 2015，top-5 错误率 3.57%。幻灯片 35

5.6 卷积网络用于文本

卷积也可以处理文本：句子中的 N 元（N-gram）特征可以用卷积来提取。幻灯片 36 把长度为 $T$ 的句子表示为 $T\times d$ 的词嵌入矩阵，使用宽度为 $d$、高度为 $n$ 的卷积核在词序列上滑动，每个卷积核相当于一个 n-gram 特征检测器；再沿时间维做最大汇聚（max-over-time pooling）得到定长的句子表示，最后接全连接层与 Softmax 分类。幻灯片 37 幻灯片 38 这就是 Kim (2014) 提出的经典句子分类模型。

5.7 卷积网络的可视化与应用

可视化 AlexNet 第一层的 96 个 $11\times 11\times 3$ 滤波器，可以看到它们大多是不同方向的边缘检测器和颜色斑块检测器；同一个滤波器在所有位置共享，这在图像中是合理的——如果在某处检测水平边缘有用，在其他位置也应该有用。幻灯片 40

卷积网络的应用极其广泛：AlphaGo 用卷积网络评估棋局 幻灯片 42，目标检测（如 Faster R-CNN、YOLO）幻灯片 43，实例分割（Mask R-CNN）幻灯片 44，文字识别（OCR）幻灯片 45，图像生成 幻灯片 46、Deep Dream 幻灯片 47、画风迁移 幻灯片 48 等。另一方面，卷积网络也存在对抗样本问题：对输入加入人眼难以察觉的微小扰动，就可能使网络以高置信度给出错误的分类。幻灯片 49

本章小结

• 卷积网络的三个特性：局部连接、权重共享、汇聚，带来参数少与一定的不变性。
• 深度学习中的卷积一般指互相关；输出尺寸 $=(M-K+2P)/S+1$；卷积层参数量 $=P\times D\times U\times V+P$。
• 汇聚层降低特征维度；整体结构为若干“卷积块 + 汇聚”加少量全连接层，趋势是小卷积核、深网络、全卷积。
• 转置卷积用于上采样，空洞卷积在不增加参数的情况下扩大感受野。
• 经典网络：LeNet-5 → AlexNet（ReLU、Dropout、GPU）→ Inception（多尺度、$1\times 1$ 降维）→ ResNet（残差连接）。

思考题与习题

1. （计算） 输入为 $3\times 32\times 32$，使用 64 个 $5\times 5$ 卷积核、步长 1、零填充 2，输出尺寸是多少？该层有多少参数？若改为全连接层且输出神经元个数相同，需要多少参数？
2. （计算） 三层 $3\times 3$ 卷积（步长 1）堆叠后的感受野是多少？与一层 $7\times 7$ 卷积相比，参数量（输入输出通道数均为 $C$）分别是多少？
3. （推导） 设 $\mathit{Y}=\mathit{W}\otimes \mathit{X}$，$f(\mathit{Y})$ 为标量函数。证明 ${\displaystyle \frac{\partial f}{\partial \mathit{W}}}={\displaystyle \frac{\partial f}{\partial \mathit{Y}}}\otimes \mathit{X}$，并说明 ${\displaystyle \frac{\partial f}{\partial \mathit{X}}}$ 可以写成一个宽卷积。
4. （概念） $1\times 1$ 卷积有什么作用？它在 Inception 和 ResNet 的瓶颈结构中分别起什么作用？
5. （分析） 从反向传播的角度解释残差连接为什么能缓解梯度消失（提示：考察 $\partial {\mathit{x}}_{l+1}/\partial {\mathit{x}}_l$）。
6. （讨论） 卷积网络的局部性假设合理吗？对于需要建模远距离依赖的任务，可以如何改进？（可联系第 8 章的自注意力。）
7. （编程） 在 CIFAR-10 上实现一个小型卷积网络（例如 LeNet 或带残差连接的 ResNet-18 简化版），比较有 / 无数据增强、有 / 无残差连接时的准确率。

部分提示

• 第 1 题：输出 $64\times 32\times 32$；参数 $64\times 3\times 25+64=4864$；全连接则需 $3072\times 65536+65536\approx 2.0\times {10}^8$。
• 第 2 题：感受野 $7\times 7$；参数 $3\times 9C^2=27C^2$ 对比 $49C^2$。
• 第 5 题：${\mathit{x}}_{l+1}={\mathit{x}}_l+f({\mathit{x}}_l)$，则 $\partial {\mathit{x}}_{l+1}/\partial {\mathit{x}}_l=\mathit{I}+\partial f/\partial {\mathit{x}}_l$，恒等项保证梯度至少能“直通”。

延伸阅读

• 教材：邱锡鹏《神经网络与深度学习》第 5 章「卷积神经网络」。
• LeCun Y, et al. Gradient-based learning applied to document recognition, 1998；He K, et al. Deep residual learning for image recognition, CVPR 2016。
• 实践：nndl-practice 第 5 章「卷积神经网络」；本站 二维卷积演示。
• 交互：感受野与输出尺寸。
• 第二版对应章节：第 5 章「卷积神经网络」。