网格世界中的 Q 学习

观察要点

1. Q 学习是异策略时序差分方法：行为用 ε-贪心探索，目标用 max 贪心。
2. 价值从奖励处一步步向外“传播”，γ 决定远期奖励的权重。
3. 深度 Q 网络（DQN）用神经网络代替这张 Q 表，从而处理图像等大状态空间。

相关章节：第 14 章 深度强化学习。