Softmax 与交叉熵

观察要点

1. 所有 logit 加同一个常数不改变概率，所以实现时可以先减去最大值保证数值稳定。
2. 交叉熵对 logit 的梯度恰好是 p − y，形式简单，且错得越离谱梯度越大。
3. 温度 T 在知识蒸馏和语言模型采样中都会用到。

相关章节：第 3 章 线性模型。