循环神经网络的梯度消失与爆炸

观察要点

1. 随时间反向传播（BPTT）中梯度是一串雅可比矩阵的乘积，模长持续小于 1 或大于 1 都会出问题。
2. 梯度爆炸可以用梯度截断缓解，梯度消失则需要改结构（LSTM、GRU、残差连接）。
3. LSTM 的遗忘门偏置常初始化为正数，让 f 一开始就接近 1。

相关章节：第 6 章 循环神经网络。