梯度下降优化器

观察要点

1. 椭圆碗（病态条件）：各方向曲率差异很大时，SGD 在陡峭方向来回震荡、在平缓方向前进缓慢；增大学习率会发散。动量法通过累积历史梯度抵消震荡、加速平缓方向的前进。
2. Rosenbrock 香蕉函数：最小值位于一条狭长弯曲的山谷中，考验优化器沿谷底前进的能力。
3. 鞍点：从鞍点附近出发，SGD 在梯度很小的方向上几乎停滞；自适应学习率方法（RMSprop、Adam）会放大小梯度方向的步长，更快地逃离鞍点（第 7 章）。
4. 学习率：同一个优化器，学习率过小收敛慢、过大震荡甚至发散——试着拖动学习率滑块。

各算法的更新公式（${\mathit{g}}_t$ 为梯度）：

算法	更新规则
SGD	${\theta }_t={\theta }_{t-1}-\alpha {\mathit{g}}_t$
动量法	$\mathrm{\Delta }{\theta }_t=\rho \mathrm{\Delta }{\theta }_{t-1}-\alpha {\mathit{g}}_t$
Nesterov	$\mathrm{\Delta }{\theta }_t=\rho \mathrm{\Delta }{\theta }_{t-1}-\alpha \mathit{g}({\theta }_{t-1}+\rho \mathrm{\Delta }{\theta }_{t-1})$
RMSprop	$G_t=\beta G_{t-1}+(1-\beta ){\mathit{g}}_t^2,\mathrm{\Delta }{\theta }_t=-{\displaystyle \frac{\alpha }{\sqrt{G_t+ϵ}}}{\mathit{g}}_t$
Adam	$\mathrm{\Delta }{\theta }_t=-{\displaystyle \frac{\alpha }{\sqrt{{\hat{G}}_t+ϵ}}}{\hat{M}}_t$（${\hat{M}}_t,{\hat{G}}_t$ 为偏差修正后的一阶、二阶矩）

相关章节：第 7 章 网络优化与正则化。