缩放点积注意力与多头自注意力

观察要点

1. 注意力 = 用查询和键算相似度，softmax 归一化后对值加权求和。
2. 除以 √d 让点积的方差不随维度增长，避免 softmax 饱和。
3. 自注意力里每个词同时是查询、键和值；多头让模型并行关注不同关系。

相关章节：第 8 章 注意力机制与外部记忆。