Transformer 正弦位置编码

观察要点

1. 自注意力本身对输入顺序不敏感（置换等变），必须额外注入位置信息。
2. 不同维度使用不同频率，组合起来能唯一表示每个位置。
3. 许多新模型改用可学习位置编码或旋转位置编码（RoPE）等相对位置方案。

相关章节：第 8 章 注意力机制与外部记忆。