# 网格世界中的 Q 学习

> 来源：https://deeplearning.bnuai.com/demos/q-learning ｜ 作者：唐志清（北京师范大学） ｜ 更新：2026-11-01 ｜ 内容依据邱锡鹏《神经网络与深度学习》（https://nndl.ai/）及作者公开课件

> （此处为交互演示，请在网页中使用：https://deeplearning.bnuai.com/demos/q-learning）

## 观察要点

1. Q 学习是异策略时序差分方法：行为用 ε-贪心探索，目标用 max 贪心。
2. 价值从奖励处一步步向外“传播”，γ 决定远期奖励的权重。
3. 深度 Q 网络（DQN）用神经网络代替这张 Q 表，从而处理图像等大状态空间。

相关章节：[第 14 章 深度强化学习](https://deeplearning.bnuai.com/chapters/14-deep-reinforcement-learning)。