# 缩放点积注意力与多头自注意力

> 来源：https://deeplearning.bnuai.com/demos/attention ｜ 作者：唐志清（北京师范大学） ｜ 更新：2026-11-01 ｜ 内容依据邱锡鹏《神经网络与深度学习》（https://nndl.ai/）及作者公开课件

> （此处为交互演示，请在网页中使用：https://deeplearning.bnuai.com/demos/attention）

## 观察要点

1. 注意力 = 用查询和键算相似度，softmax 归一化后对值加权求和。
2. 除以 √d 让点积的方差不随维度增长，避免 softmax 饱和。
3. 自注意力里每个词同时是查询、键和值；多头让模型并行关注不同关系。

相关章节：[第 8 章 注意力机制与外部记忆](https://deeplearning.bnuai.com/chapters/08-attention-memory)。