第 6 章　循环神经网络

第二部分 · 基础模型课件 64 页讲义约 30 分钟Recurrent Neural Networks

▶ 浏览课件⬇ 课件 PDF（3.1 MB）📖 教材原书 PDF✎ 习题

学习目标

• 理解前馈网络在处理序列数据时的局限，以及给网络增加记忆能力的几种方法；
• 掌握简单循环网络的状态更新公式，了解其通用近似性与图灵完备性；
• 掌握循环网络在机器学习中的三种应用模式；
• 能推导随时间反向传播（BPTT），理解梯度消失 / 爆炸与长程依赖问题；
• 掌握 LSTM 与 GRU 的门控机制；
• 了解堆叠 / 双向循环网络、递归神经网络与图网络，以及循环网络的典型应用。

课件幻灯片

1 / 64

跳转到1. 循环神经网络2. 参考资料3. 前馈网络4. 前馈网络5. 有限状态自动机（Finite Automata）6. 图灵机7. 可计算问题8. 如何给网络增加记忆能力？9. 如何给网络增加记忆能力？10. 非线性自回归模型11. 循环神经网络（ Recurrent Neural Network ，RNN ）12. 按时间展开13. 简单循环网络（ Simple Recurrent Network ， SRN ）14. 图灵完备15. 循环神经网络16. 应用到机器学习17. 应用到机器学习18. 应用到机器学习19. 序列到类别20. 应用到机器学习21. 同步的序列到序列模式22. 同步的序列到序列模式23. 同步的序列到序列模式24. 应用到机器学习25. 异步的序列到序列模式26. 参数学习27. 梯度28. 梯度消失/爆炸29. 长程依赖问题30. 长程依赖问题31. 长短期记忆神经网络（Long Short-Term Memory, LSTM ）32. LSTM的各种变体33. Gated Recurrent Unit, GRU34. 深层模型35. 堆叠循环神经网络36. 双向循环神经网络37. 扩展到图结构38. 扩展到图结构39. 树结构40. 树结构41. 递归神经网络 Recursive Neural Network42. 递归神经网络43. 递归神经网络44. 图网络45. 图数据46. 图网络47. 图网络48. 图网络49. 循环网络应用50. 语言模型51. 语言模型52. 生成LINUX内核代码53. 作词机54. 作诗55. 传统统计机器翻译56. 基于序列到序列的机器翻译57. 看图说话58. 看图说话59. Visual Question Answering (VQA)60. 写字61. 对话系统62. 循环神经网络总结63. 课后作业64. https://nndl.github.io/

PDF

提示：点击幻灯片左右两侧或使用 ← → 键翻页，手机上左右滑动；按 F 全屏。

讲义

6.1 给网络增加记忆能力

前馈网络中，连接只存在于层与层之间，信息单向传递；输入和输出的维数固定，无法处理变长的序列数据；并且假设每次输入都相互独立，输出只依赖于当前输入。幻灯片 3 幻灯片 4 然而很多任务（例如有限状态自动机、图灵机所刻画的计算过程）需要记忆能力：当前输出不仅依赖当前输入，还依赖过去的状态。幻灯片 5–幻灯片 7

为网络增加短期记忆的几种方法：

• 延时神经网络（TDNN）：建立额外的延时单元存储网络的历史信息（输入、输出、隐状态等）。第 $l$ 层的神经元依赖于前一层最近 $K$ 个时刻的输出：${\mathit{h}}_t^{(l)}=f({\mathit{h}}_t^{(l-1)},{\mathit{h}}_{t-1}^{(l-1)},\cdots ,{\mathit{h}}_{t-K}^{(l-1)})$。幻灯片 8
• 有外部输入的非线性自回归模型（NARX）：${\mathit{y}}_t=f({\mathit{x}}_t,{\mathit{x}}_{t-1},\cdots ,{\mathit{x}}_{t-K_x},{\mathit{y}}_{t-1},\cdots ,{\mathit{y}}_{t-K_y})$。幻灯片 10
• 循环神经网络（RNN）：使用带自反馈的神经元，理论上能处理任意长度的序列。幻灯片 11

6.2 简单循环网络

循环神经网络通过隐状态 ${\mathit{h}}_t$ 存储历史信息：${\mathit{h}}_t=f({\mathit{h}}_{t-1},{\mathit{x}}_t)$，其中 ${\mathit{h}}_t$ 称为状态或隐状态。按时间展开后，循环网络可以看作一个在时间维度上共享参数的深层前馈网络。幻灯片 12

简单循环网络（Simple Recurrent Network, SRN，又称 Elman 网络）只有一个隐藏层，状态更新为 幻灯片 13

$${\mathit{z}}_t=\mathit{U}{\mathit{h}}_{t-1}+\mathit{W}{\mathit{x}}_t+\mathit{b},{\mathit{h}}_t=f({\mathit{z}}_t),$$

其中 $\mathit{U}$ 为状态-状态权重矩阵，$\mathit{W}$ 为状态-输入权重矩阵，$f$ 一般取 Logistic 或 Tanh。

flowchart LR
  x1["x₁"] --> h1["h₁"]
  x2["x₂"] --> h2["h₂"]
  x3["x₃"] --> h3["h₃"]
  xT["x_T"] --> hT["h_T"]
  h0["h₀"] -- U --> h1 -- U --> h2 -- U --> h3 -. ⋯ .-> hT
  h1 --> y1["ŷ₁"]
  h2 --> y2["ŷ₂"]
  h3 --> y3["ŷ₃"]
  hT --> yT["ŷ_T"]

表达能力。一个完全连接的循环网络是任何非线性动力系统的近似器：对于由 ${\mathit{s}}_t=g({\mathit{s}}_{t-1},{\mathit{x}}_t)$、${\mathit{y}}_t=o({\mathit{s}}_t)$ 描述的动力系统，只要隐藏神经元足够多，循环网络可以以任意精度近似它。此外，一个使用 Sigmoid 型激活函数的全连接循环网络可以模拟所有的图灵机，即图灵完备——前馈网络能模拟任何函数，循环网络能模拟任何程序（计算过程）。幻灯片 14

6.3 循环网络的三种应用模式

循环网络既可以作为输入-输出映射的机器学习模型，也可以作为联想记忆模型（存储器）。作为机器学习模型，它主要有三种模式：幻灯片 17

1. 序列到类别：输入序列、输出一个类别，如文本情感分类。可以取最后时刻的状态 ${\mathit{h}}_T$ 作为整个序列的表示，或对所有状态取平均 $\overline{\mathit{h}}=\frac{1}{T}\sum _t{\mathit{h}}_t$，再送入分类器：$\hat{y}=g({\mathit{h}}_T)$。幻灯片 18 幻灯片 19
2. 同步的序列到序列：每个时刻都有输入和输出，且长度相同，如中文分词（BMES 标注）、词性标注、信息抽取；输出 ${\hat{y}}_t=g({\mathit{h}}_t)$。语音识别中输入输出长度不同，可以借助 CTC 引入空白符号 $\phi$ 来对齐。幻灯片 21–幻灯片 23
3. 异步的序列到序列（编码器-解码器）：输入和输出不需要严格对应，也不需要等长，如机器翻译。先用编码器读入整个输入序列得到其编码，再用解码器自回归地生成输出：幻灯片 25

$${\mathit{h}}_t=f_1({\mathit{h}}_{t-1},{\mathit{x}}_t),t\in [1,T];{\mathit{h}}_{T+t}=f_2({\mathit{h}}_{T+t-1},{\hat{\mathit{y}}}_{t-1}),{\hat{y}}_t=g({\mathit{h}}_{T+t}),t\in [1,M].$$

6.4 参数学习：随时间反向传播

以同步序列到序列为例，给定样本 $({\mathit{x}}_{1:T},{\mathit{y}}_{1:T})$，时刻 $t$ 的瞬时损失为 ${\mathcal{L}}_t=\mathcal{L}(y_t,g({\mathit{h}}_t))$，总损失为 $\mathcal{L}=\sum _{t=1}^T{\mathcal{L}}_t$。幻灯片 26

随时间反向传播（Backpropagation Through Time, BPTT）把循环网络看作展开后的多层前馈网络，“每一层”对应一个时刻，所有层共享参数。定义 ${\mathit{\delta }}_{t,k}={\displaystyle \frac{\partial {\mathcal{L}}_t}{\partial {\mathit{z}}_k}}$ 为第 $t$ 时刻的损失对第 $k$ 步隐藏神经元净输入的导数（$k\le t$），则 幻灯片 27

$${\mathit{\delta }}_{t,k}=\frac{\partial {\mathit{h}}_k}{\partial {\mathit{z}}_k}\frac{\partial {\mathit{z}}_{k+1}}{\partial {\mathit{h}}_k}\frac{\partial {\mathcal{L}}_t}{\partial {\mathit{z}}_{k+1}}=\mathrm{diag}(f^{\prime }({\mathit{z}}_k)){\mathit{U}}^{\mathrm{\top }}{\mathit{\delta }}_{t,k+1}.$$

由于参数在各时刻共享，梯度是所有时刻、所有路径上梯度之和：

$$\frac{\partial \mathcal{L}}{\partial \mathit{U}}=\sum _{t=1}^T\sum _{k=1}^t{\mathit{\delta }}_{t,k}{\mathit{h}}_{k-1}^{\mathrm{\top }},\frac{\partial \mathcal{L}}{\partial \mathit{W}}=\sum _{t=1}^T\sum _{k=1}^t{\mathit{\delta }}_{t,k}{\mathit{x}}_k^{\mathrm{\top }},\frac{\partial \mathcal{L}}{\partial \mathit{b}}=\sum _{t=1}^T\sum _{k=1}^t{\mathit{\delta }}_{t,k}.$$

BPTT 需要保存所有时刻的中间结果，空间复杂度较高；另一种算法实时循环学习（RTRL）通过前向传播计算梯度，无需反向传播，适合在线学习。

6.5 长程依赖问题

把误差项的递推展开：幻灯片 28

$${\mathit{\delta }}_{t,k}=\prod _{\tau =k}^{t-1}(\mathrm{diag}(f^{\prime }({\mathit{z}}_{\tau })){\mathit{U}}^{\mathrm{\top }}){\mathit{\delta }}_{t,t}.$$

若记 $\gamma \cong \parallel \mathrm{diag}(f^{\prime }({\mathit{z}}_{\tau })){\mathit{U}}^{\mathrm{\top }}\parallel$，则 ${\mathit{\delta }}_{t,k}\cong {\gamma }^{t-k}{\mathit{\delta }}_{t,t}$。当 $\gamma >1$ 且 $t-k\to \mathrm{\infty }$ 时，${\gamma }^{t-k}\to \mathrm{\infty }$，出现梯度爆炸；当 $\gamma <1$ 时，${\gamma }^{t-k}\to 0$，出现梯度消失。循环网络在时间维度上非常“深”，因此实际上只能学到短周期的依赖关系，这就是长程依赖问题。幻灯片 29

改进方法：

• 梯度爆炸：权重衰减（限制参数取值范围），以及梯度截断——当梯度的模超过阈值时将其缩放（见第 7 章）；
• 梯度消失：主要靠改进模型。例如把循环边改为线性依赖 ${\mathit{h}}_t={\mathit{h}}_{t-1}+g({\mathit{x}}_t;\theta )$，此时 $\partial {\mathit{h}}_t/\partial {\mathit{h}}_{t-1}=\mathit{I}$，不再有梯度消失，但丢失了对历史状态的非线性变换能力；进一步加入非线性 ${\mathit{h}}_t={\mathit{h}}_{t-1}+g({\mathit{x}}_t,{\mathit{h}}_{t-1};\theta )$（类似残差网络），但仍存在梯度爆炸和记忆容量问题——隐状态不断累积信息会饱和。解决方案是引入门控机制，有选择地加入新信息、遗忘旧信息。幻灯片 30

调节循环权重与序列长度，观察 $\partial {\mathit{h}}_T/\partial {\mathit{h}}_k$ 随时间距离的指数衰减（或爆炸），并与 LSTM 细胞状态通路对比：

在单独页面中打开：RNN 梯度消失与爆炸

6.6 门控循环网络：LSTM 与 GRU

长短期记忆网络（LSTM）引入一个新的内部状态（记忆单元）${\mathit{c}}_t$ 专门进行线性的循环信息传递，并用三个门控制信息流动：幻灯片 31

$$\begin{array}{rlrl}{\tilde{\mathit{c}}}_t& =\tanh ({\mathit{W}}_c{\mathit{x}}_t+{\mathit{U}}_c{\mathit{h}}_{t-1}+{\mathit{b}}_c)& & \text{候选状态}\\ {\mathit{i}}_t& =\sigma ({\mathit{W}}_i{\mathit{x}}_t+{\mathit{U}}_i{\mathit{h}}_{t-1}+{\mathit{b}}_i)& & \text{输入门}\\ {\mathit{f}}_t& =\sigma ({\mathit{W}}_f{\mathit{x}}_t+{\mathit{U}}_f{\mathit{h}}_{t-1}+{\mathit{b}}_f)& & \text{遗忘门}\\ {\mathit{o}}_t& =\sigma ({\mathit{W}}_o{\mathit{x}}_t+{\mathit{U}}_o{\mathit{h}}_{t-1}+{\mathit{b}}_o)& & \text{输出门}\\ {\mathit{c}}_t& ={\mathit{f}}_t\odot {\mathit{c}}_{t-1}+{\mathit{i}}_t\odot {\tilde{\mathit{c}}}_t\\ {\mathit{h}}_t& ={\mathit{o}}_t\odot \tanh ({\mathit{c}}_t)\end{array}$$

遗忘门 ${\mathit{f}}_t$ 控制上一时刻的记忆需要遗忘多少，输入门 ${\mathit{i}}_t$ 控制当前候选状态需要保存多少，输出门 ${\mathit{o}}_t$ 控制记忆单元有多少信息输出到隐状态。门的取值在 $(0,1)$ 之间，以“软”的方式控制信息流。由于 ${\mathit{c}}_t$ 与 ${\mathit{c}}_{t-1}$ 之间是线性关系（逐元素乘以 ${\mathit{f}}_t$），只要遗忘门接近 1，梯度就能长距离传播。实践中遗忘门的偏置通常初始化为较大的正值（如 1 或 2）。

隐状态 $\mathit{h}$ 每个时刻都会被重写，可以看作短期记忆；网络参数可以看作长期记忆；记忆单元 $\mathit{c}$ 保存的信息生命周期介于两者之间，因此称为“长的短期记忆”。

LSTM 的变体：幻灯片 32

• 无遗忘门的 LSTM（最早的版本）：${\mathit{c}}_t={\mathit{c}}_{t-1}+{\mathit{i}}_t\odot {\tilde{\mathit{c}}}_t$，记忆单元会不断增大；
• 耦合输入门和遗忘门：令 ${\mathit{f}}_t=\mathbf{1}-{\mathit{i}}_t$，减少冗余；
• peephole 连接：三个门不仅依赖 ${\mathit{x}}_t$ 和 ${\mathit{h}}_{t-1}$，还依赖记忆单元 ${\mathit{c}}_{t-1}$（或 ${\mathit{c}}_t$）。

门控循环单元（GRU）是比 LSTM 更简洁的门控网络，不引入额外的记忆单元，用更新门 ${\mathit{z}}_t$ 在当前状态中平衡历史信息与新信息，用重置门 ${\mathit{r}}_t$ 控制候选状态对历史状态的依赖程度：幻灯片 33

$$\begin{array}{rl}{\mathit{z}}_t& =\sigma ({\mathit{W}}_z{\mathit{x}}_t+{\mathit{U}}_z{\mathit{h}}_{t-1}+{\mathit{b}}_z),{\mathit{r}}_t=\sigma ({\mathit{W}}_r{\mathit{x}}_t+{\mathit{U}}_r{\mathit{h}}_{t-1}+{\mathit{b}}_r),\\ {\tilde{\mathit{h}}}_t& =\tanh ({\mathit{W}}_h{\mathit{x}}_t+{\mathit{U}}_h({\mathit{r}}_t\odot {\mathit{h}}_{t-1})+{\mathit{b}}_h),\\ {\mathit{h}}_t& ={\mathit{z}}_t\odot {\mathit{h}}_{t-1}+(\mathbf{1}-{\mathit{z}}_t)\odot {\tilde{\mathit{h}}}_t.\end{array}$$

当 ${\mathit{z}}_t=\mathbf{0},{\mathit{r}}_t=\mathbf{1}$ 时，GRU 退化为简单循环网络；当 ${\mathit{z}}_t=\mathbf{0},{\mathit{r}}_t=\mathbf{0}$ 时，当前状态只与当前输入有关；当 ${\mathit{z}}_t=\mathbf{1}$ 时，当前状态直接复制上一时刻的状态。

6.7 深层循环网络

堆叠循环神经网络（Stacked RNN）把多个循环网络堆叠起来，第 $l$ 层在时刻 $t$ 的状态为 ${\mathit{h}}_t^{(l)}=f({\mathit{U}}^{(l)}{\mathit{h}}_{t-1}^{(l)}+{\mathit{W}}^{(l)}{\mathit{h}}_t^{(l-1)}+{\mathit{b}}^{(l)})$，${\mathit{h}}_t^{(0)}={\mathit{x}}_t$。幻灯片 35

双向循环神经网络（Bi-RNN）由两层方向相反的循环网络组成，使每个时刻的输出同时依赖过去和未来的信息：幻灯片 36

$${\mathit{h}}_t^{(1)}=f({\mathit{U}}^{(1)}{\mathit{h}}_{t-1}^{(1)}+{\mathit{W}}^{(1)}{\mathit{x}}_t+{\mathit{b}}^{(1)}),{\mathit{h}}_t^{(2)}=f({\mathit{U}}^{(2)}{\mathit{h}}_{t+1}^{(2)}+{\mathit{W}}^{(2)}{\mathit{x}}_t+{\mathit{b}}^{(2)}),{\mathit{h}}_t={\mathit{h}}_t^{(1)}\oplus {\mathit{h}}_t^{(2)}.$$

6.8 扩展到图结构：递归神经网络与图网络

如果把循环网络按时间展开的链式结构扩展为树结构或图结构，就得到更一般的模型。幻灯片 37

递归神经网络（Recursive Neural Network, RecNN）在有向无环图上共享一个组合函数。程序语言和自然语言的句法结构都是树结构。幻灯片 39 幻灯片 40 例如给定语法树 $p_2\to a{p}_1$，$p_1\to bc$，则 幻灯片 43

$${\mathit{h}}_1=f(\mathit{W}\left[\begin{array}{c}{\mathit{x}}_b\\ {\mathit{x}}_c\end{array}\right]+\mathit{b}),{\mathit{h}}_2=f(\mathit{W}\left[\begin{array}{c}{\mathit{x}}_a\\ {\mathit{h}}_1\end{array}\right]+\mathit{b}).$$

当树退化为线性序列时，递归神经网络就等价于简单循环网络。幻灯片 42

图网络。知识图谱、社交网络、分子结构等很多数据是图结构的，前馈网络和循环网络很难处理。幻灯片 44 幻灯片 45 图网络在每个节点 $v$ 上维护状态 ${\mathit{h}}^{(v)}$，通过消息传递更新：幻灯片 48

$${\mathit{m}}_t^{(v)}=\sum _{u\in \mathcal{N}(v)}f({\mathit{h}}_{t-1}^{(v)},{\mathit{h}}_{t-1}^{(u)},{\mathit{e}}^{(u,v)}),{\mathit{h}}_t^{(v)}=g({\mathit{h}}_{t-1}^{(v)},{\mathit{m}}_t^{(v)}),$$

其中 $\mathcal{N}(v)$ 为 $v$ 的邻居，${\mathit{e}}^{(u,v)}$ 为边的特征。经过 $T$ 次迭代后，用读出函数 $\mathit{o}=g(\{{\mathit{h}}_T^{(v)}\mid v\in \mathcal{V}\})$ 得到整个图的表示。图卷积网络（GCN）、图注意力网络（GAT）等都可以纳入这一框架（教材第二版单独设一章讲图神经网络）。

6.9 循环网络的应用

• 语言模型：估计句子的概率 $p(x_{1:T})=\prod _{t}p(x_t\mid x_{1:(t-1)})$。N 元语言模型只看前 $N-1$ 个词，循环网络语言模型理论上可以利用全部历史。幻灯片 50 训练好的语言模型可以用来生成 Linux 内核代码、歌词、诗歌等。幻灯片 52–幻灯片 54
• 机器翻译：传统统计机器翻译由多个模块组成 幻灯片 55；基于序列到序列的神经机器翻译用一个 RNN 编码、另一个 RNN 解码，端到端训练。幻灯片 56
• 看图说话（Image Captioning）：卷积网络编码图像，循环网络生成描述 幻灯片 57；视觉问答（VQA）幻灯片 59。
• 手写体生成：把书写轨迹看作一串点，每个点记为相对前一点的偏移 $(\mathrm{\Delta }x,\mathrm{\Delta }y)$ 和是否“提笔”。幻灯片 60
• 对话系统。幻灯片 61

总结：循环网络引入了记忆，并且图灵完备；但存在长程依赖问题、记忆容量问题，且计算必须按时间步顺序进行，并行能力差——后者正是 Transformer（第 8 章）要解决的问题。幻灯片 62

本章小结

• 循环网络通过隐状态 ${\mathit{h}}_t=f(\mathit{U}{\mathit{h}}_{t-1}+\mathit{W}{\mathit{x}}_t+\mathit{b})$ 引入记忆，是图灵完备的。
• 三种应用模式：序列到类别、同步序列到序列、异步序列到序列（编码器-解码器）。
• BPTT 沿时间展开计算梯度；误差项中的连乘导致梯度消失 / 爆炸，形成长程依赖问题。
• 梯度爆炸用梯度截断，梯度消失靠门控：LSTM（输入 / 遗忘 / 输出门 + 记忆单元）、GRU（更新门 + 重置门）。
• 堆叠、双向结构增加深度与上下文；递归神经网络和图网络把循环网络推广到树和图。

思考题与习题

1. （推导） 写出简单循环网络中 ${\mathit{\delta }}_{t,k}$ 的递推公式，并推导 $\partial \mathcal{L}/\partial \mathit{W}$。
2. （分析） 设 $f=\tanh$，$\mathit{U}$ 的最大奇异值为 ${\lambda }_1$。证明当 ${\lambda }_1<1$ 时梯度必然随 $t-k$ 指数衰减。
3. （概念） LSTM 中为什么用 $\tanh$ 生成候选状态、用 Logistic 函数生成门？如果把遗忘门恒定为 1、输入门恒定为 1，会发生什么？
4. （计算） 输入维度为 $d$、隐状态维度为 $h$ 时，简单 RNN、LSTM、GRU 各有多少参数？
5. （设计） 分别为以下任务选择合适的循环网络模式并画出结构：命名实体识别、文本分类、机器翻译、语音识别。
6. （编程） 用 LSTM 实现字符级语言模型，在唐诗语料上训练并生成诗句；比较不同采样温度下的生成效果。
7. （编程） 训练一个循环网络做多位数加法（如输入 123+456，输出 579），比较 SRN 与 LSTM 在不同位数下的准确率。

部分提示

• 第 2 题：$\parallel \mathrm{diag}(f^{\prime }(\mathit{z})){\mathit{U}}^{\mathrm{\top }}\parallel \le \parallel \mathrm{diag}(f^{\prime })\parallel \cdot \parallel \mathit{U}\parallel \le 1\cdot {\lambda }_1$。
• 第 4 题：SRN $h(h+d+1)$；LSTM $4h(h+d+1)$；GRU $3h(h+d+1)$（均不含输出层）。

延伸阅读

• 教材：邱锡鹏《神经网络与深度学习》第 6 章「循环神经网络」。
• Hochreiter S, Schmidhuber J. Long short-term memory, 1997；Cho K, et al. Learning phrase representations using RNN encoder–decoder, 2014。
• Battaglia P W, et al. Relational inductive biases, deep learning, and graph networks, 2018。
• 实践：nndl-practice 第 6 章「循环神经网络」、第 9 章「图神经网络」。
• 交互：RNN 梯度消失与爆炸。
• 第二版对应章节：第 6 章「循环神经网络」，图网络部分见第 9 章「图神经网络」。