三维损失曲面上的梯度下降

观察要点

学习率的上限由最陡方向的曲率决定：对 f = ax²，学习率超过 1/a 就会发散。
高维非凸优化中鞍点远比局部极小常见，梯度接近 0 的“平原”会让训练停滞。
动量相当于给小球加了惯性，能冲过小坑、加速穿过平缓区域。

相关章节：第 7 章网络优化与正则化。