# Softmax 与交叉熵

> 来源：https://deeplearning.bnuai.com/demos/softmax ｜ 作者：唐志清（北京师范大学） ｜ 更新：2026-11-01 ｜ 内容依据邱锡鹏《神经网络与深度学习》（https://nndl.ai/）及作者公开课件

> （此处为交互演示，请在网页中使用：https://deeplearning.bnuai.com/demos/softmax）

## 观察要点

1. 所有 logit 加同一个常数不改变概率，所以实现时可以先减去最大值保证数值稳定。
2. 交叉熵对 logit 的梯度恰好是 p − y，形式简单，且错得越离谱梯度越大。
3. 温度 T 在知识蒸馏和语言模型采样中都会用到。

相关章节：[第 3 章 线性模型](https://deeplearning.bnuai.com/chapters/03-linear-models)。