线性回归：最小二乘、梯度下降与损失曲面

观察要点

1. 平方损失是参数的凸二次函数，只有一个全局最优解。
2. 高斯噪声假设下，最小二乘与最大似然估计等价。
3. 学习率过大导致振荡发散；随机梯度下降轨迹抖动但每步计算量小。

相关章节：第 2 章　机器学习概述。