# 循环神经网络的梯度消失与爆炸

> 来源：https://deeplearning.bnuai.com/demos/rnn-gradient ｜ 作者：唐志清（北京师范大学） ｜ 更新：2026-11-01 ｜ 内容依据邱锡鹏《神经网络与深度学习》（https://nndl.ai/）及作者公开课件

> （此处为交互演示，请在网页中使用：https://deeplearning.bnuai.com/demos/rnn-gradient）

## 观察要点

1. 随时间反向传播（BPTT）中梯度是一串雅可比矩阵的乘积，模长持续小于 1 或大于 1 都会出问题。
2. 梯度爆炸可以用梯度截断缓解，梯度消失则需要改结构（LSTM、GRU、残差连接）。
3. LSTM 的遗忘门偏置常初始化为正数，让 f 一开始就接近 1。

相关章节：[第 6 章 循环神经网络](https://deeplearning.bnuai.com/chapters/06-rnn)。