# 《深度学习》课程网站 > 北京师范大学《深度学习》课程网站（主讲：唐志清）：以邱锡鹏《神经网络与深度学习》为教材，15 章课程讲义、全部课件幻灯片在线浏览与 PDF 下载、思考题与习题、术语表和交互演示，覆盖机器学习基础、前馈 / 卷积 / 循环网络、优化与正则化、注意力与 Transformer、概率图模型、深度生成模型与深度强化学习。 本站（https://deeplearning.bnuai.com）是北京师范大学《深度学习》课程讲义与课件，教材为邱锡鹏《神经网络与深度学习》，全部内容为简体中文。每章包含学习目标、讲义正文（含公式推导）、课件幻灯片、小结与习题。 每个页面都提供 Markdown 原文：把网页地址加上 `.md` 后缀即可（目录页为 `/目录/index.md`）。全站正文合集见 https://deeplearning.bnuai.com/llms-full.txt。 教材：邱锡鹏《神经网络与深度学习》，机械工业出版社，2020，ISBN 9787111649687，官网 https://nndl.ai/。 ## 课程章节 - [课程章节总览](https://deeplearning.bnuai.com/chapters/index.md): 《深度学习》课程全部 15 章：机器学习基础（绪论、机器学习概述、线性模型）、基础模型（前馈、卷积、循环网络、优化与正则化、注意力与记忆、无监督学习、模型独立的学习方式）、进阶模型（概率图模型、深度信念网络、深度生成模型、深度强化学习、序列生成模型）。 - [第 1 章　绪论](https://deeplearning.bnuai.com/chapters/01-introduction.md): 《深度学习》课程第 1 章讲义与课件：课程概览与预备知识，人工智能与图灵测试，机器学习的基本思路，语义鸿沟与表示学习（局部表示与分布式表示、词嵌入），深度学习与贡献度分配问题，神经网络的五个发展阶段与常用深度学习框架。 - [第 2 章　机器学习概述](https://deeplearning.bnuai.com/chapters/02-machine-learning.md): 《深度学习》课程第 2 章讲义与课件：机器学习的定义与三要素（模型、学习准则、优化算法），损失函数，经验风险与结构风险，梯度下降与随机梯度下降，过拟合与正则化，线性回归的最小二乘、岭回归、最大似然估计与最大后验估计，偏差-方差分解，PAC 学习，没有免费午餐定理与归纳偏置。 - [第 3 章　线性模型](https://deeplearning.bnuai.com/chapters/03-linear-models.md): 《深度学习》课程第 3 章讲义与课件：分类问题示例（图像、文本、情感分类与词袋模型），线性判别函数与决策边界，Logistic 回归与交叉熵损失，熵、交叉熵与 KL 散度，Softmax 回归，感知器及其收敛性证明，支持向量机与 Hinge 损失，不同损失函数的对比与 XOR 问题。 - [第 4 章　前馈神经网络](https://deeplearning.bnuai.com/chapters/04-feedforward.md): 《深度学习》课程第 4 章讲义与课件：人工神经元与常见激活函数（Logistic、Tanh、ReLU、Swish、GELU）、前馈神经网络的前向计算、通用近似定理、反向传播算法推导、计算图与自动微分、梯度消失问题。 - [第 5 章　卷积神经网络](https://deeplearning.bnuai.com/chapters/05-cnn.md): 《深度学习》课程第 5 章讲义与课件：全连接网络的局限，一维与二维卷积，步长、零填充与窄 / 宽 / 等宽卷积，互相关，卷积层与汇聚层，卷积网络整体结构，转置卷积与空洞卷积，LeNet-5、AlexNet、Inception、ResNet，文本卷积网络与卷积网络的应用。 - [第 6 章　循环神经网络](https://deeplearning.bnuai.com/chapters/06-rnn.md): 《深度学习》课程第 6 章讲义与课件：给网络增加记忆能力（延时神经网络、NARX），简单循环网络与图灵完备性，序列到类别、同步与异步序列到序列三种模式，随时间反向传播（BPTT），梯度消失 / 爆炸与长程依赖问题，LSTM 与 GRU，堆叠与双向循环网络，递归神经网络与图网络，循环网络的应用。 - [第 7 章　网络优化与正则化](https://deeplearning.bnuai.com/chapters/07-optimization-regularization.md): 《深度学习》课程第 7 章讲义与课件：神经网络优化的难点（非凸、鞍点、平坦最小值），小批量梯度下降与批量大小，学习率衰减、周期性学习率与预热，AdaGrad / RMSprop / AdaDelta，动量法与 Nesterov，Adam，梯度截断，参数初始化（Xavier、He、正交初始化），数据预处理，批量归一化与层归一化，超参数优化，以及 ℓ1/ℓ2 正则、权重衰减、提前停止、Dropout、数据增强与标签平滑。 - [第 8 章　注意力机制与外部记忆](https://deeplearning.bnuai.com/chapters/08-attention-memory.md): 《深度学习》课程第 8 章讲义与课件：网络容量与注意力，注意力分布与打分函数，硬注意力与键值对注意力，多头注意力，指针网络，自注意力与 QKV 模式，Transformer 结构与复杂度，记忆网络、神经图灵机，以及基于神经动力学的联想记忆——Hopfield 网络的能量函数、检索与存储。 - [第 9 章　无监督学习](https://deeplearning.bnuai.com/chapters/09-unsupervised-learning.md): 《深度学习》课程第 9 章讲义与课件：无监督学习的典型问题，主成分分析，线性编码与完备性，稀疏编码及其训练，自编码器、稀疏自编码器与降噪自编码器，参数密度估计（高斯、多项分布）以及非参数密度估计（直方图、核密度估计、K 近邻）。 - [第 10 章　模型独立的学习方式](https://deeplearning.bnuai.com/chapters/10-model-independent-learning.md): 《深度学习》课程第 10 章讲义与课件：与具体模型无关的学习方式——集成学习（Bagging、随机森林、Boosting、AdaBoost）、半监督的协同训练、多任务学习的共享模式、迁移学习与领域适应、元学习（基于优化器的元学习与 MAML）以及终身学习与灾难性遗忘。 - [第 11 章　概率图模型](https://deeplearning.bnuai.com/chapters/11-probabilistic-graphical-models.md): 《深度学习》课程第 11 章讲义与课件：用图结构表示高维随机向量的联合分布；贝叶斯网络与条件独立性，隐马尔可夫模型、高斯混合模型、主题模型；马尔可夫随机场、团与 Hammersley–Clifford 定理、对数线性模型与条件随机场；有向图与无向图的转换（道德化）；参数学习与 EM 算法；变量消除与信念传播；拒绝采样、重要性采样、MCMC、Metropolis–Hastings 与吉布斯采样。 - [第 12 章　深度信念网络](https://deeplearning.bnuai.com/chapters/12-deep-belief-networks.md): 《深度学习》课程第 12 章讲义与课件：玻尔兹曼机的能量函数与玻尔兹曼分布，吉布斯采样与模拟退火，玻尔兹曼机的参数学习；受限玻尔兹曼机的全条件概率、块吉布斯采样与对比散度算法；深度信念网络的结构、逐层预训练与精调（含醒眠算法）。 - [第 13 章　深度生成模型](https://deeplearning.bnuai.com/chapters/13-deep-generative-models.md): 《深度学习》课程第 13 章讲义与课件：生成模型与两种建模思路；变分自编码器（VAE）的推断网络、生成网络、证据下界与再参数化技巧；生成对抗网络（GAN）的判别网络、生成网络与极小极大博弈，DCGAN；GAN 的理论分析——JS 散度与梯度消失、模型坍塌与前向/逆向 KL 散度；LSGAN、f-GAN、Wasserstein GAN 与 Lipschitz 约束；条件 GAN、InfoGAN、AC-GAN、BiGAN 等扩展。 - [第 14 章　深度强化学习](https://deeplearning.bnuai.com/chapters/14-deep-reinforcement-learning.md): 《深度学习》课程第 14 章讲义与课件：强化学习的基本要素与马尔可夫决策过程，策略、总回报与目标函数；状态值函数、Q 函数与贝尔曼方程，策略迭代与值迭代；蒙特卡罗方法、ε-贪心、时序差分学习、SARSA 与 Q 学习；深度 Q 网络（经验回放、目标网络）与 AlphaGo；策略梯度、REINFORCE、基线与 Actor-Critic 算法。 - [第 15 章　序列生成模型](https://deeplearning.bnuai.com/chapters/15-sequence-generation.md): 《深度学习》课程第 15 章讲义与课件：序列概率模型与语言模型，自回归生成，贪心搜索与束搜索；N 元统计模型与平滑技术；深度序列模型的嵌入层、特征层（简单平均、前馈网络、循环网络）与输出层；困惑度、BLEU 与 ROUGE；基于循环网络、注意力、卷积和自注意力（Transformer）的序列到序列模型，以及文本摘要、对话、看图说话、作诗等应用。 ## 课程大纲、术语表与资源 - [课程大纲与学习路线](https://deeplearning.bnuai.com/syllabus/index.md): 北京师范大学《深度学习》课程大纲（教材：邱锡鹏《神经网络与深度学习》）：课程目标、先修知识、按周安排的 16 周教学计划（15 章 + 复习）、三条学习路线（机器学习基础 → 基础模型 → 进阶模型）、学时分配建议、实践安排与考核方式模板。 - [术语表](https://deeplearning.bnuai.com/glossary/index.md): 《深度学习》课程术语表：收录机器学习基础、前馈 / 卷积 / 循环网络、网络优化与正则化、注意力与 Transformer、无监督学习、概率图模型、深度生成模型、深度强化学习与序列生成等 138 个常用术语的中英文对照、缩写与一句话定义，并链接到对应章节。 - [学习资源](https://deeplearning.bnuai.com/resources/index.md): 《深度学习》课程学习资源汇总：邱锡鹏《神经网络与深度学习》官网 nndl.ai、第一版 / 第二版电子书 PDF、官方实践教程 nndl-practice、全部 15 章课件 PDF 下载，以及推荐的公开课程、参考书、深度学习框架和各章经典论文。 ## 交互演示 - [交互演示](https://deeplearning.bnuai.com/demos/index.md): 《深度学习》课程交互演示：Logistic 回归决策边界、Softmax 与交叉熵、前馈网络训练场、反向传播逐步演示、激活函数、卷积与感受野、RNN 梯度消失、优化器、注意力机制、K 均值与 PCA、一维 GAN、Q 学习和束搜索解码，全部在浏览器本地运行。 - [激活函数](https://deeplearning.bnuai.com/demos/activation.md): 交互式比较常用激活函数及其导数：Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Softplus、Swish、GELU。拖动输入 x 观察函数值与梯度，理解饱和、梯度消失与死亡 ReLU 问题。 - [缩放点积注意力与多头自注意力](https://deeplearning.bnuai.com/demos/attention.md): 拖动查询向量与键向量，实时查看 softmax(q·k/√d) 注意力分布和加权输出；在自注意力矩阵中比较位置头与内容头、多头平均和解码器的因果掩码。 - [反向传播逐步演示](https://deeplearning.bnuai.com/demos/backprop.md): 在一个 2-2-1 的小型神经网络上，一步步展示前向传播的激活值、损失、输出层与隐藏层误差项 δ、每个参数的梯度以及梯度下降更新，所有数值实时计算。 - [卷积运算](https://deeplearning.bnuai.com/demos/convolution.md): 交互式理解卷积神经网络中的卷积（互相关）运算：选择边缘检测、锐化、模糊等卷积核，调节步长与零填充，逐步观察卷积核滑动和输出特征映射的计算过程。 - [序列生成的解码策略：束搜索与采样](https://deeplearning.bnuai.com/demos/decoding.md): 在一个玩具语言模型上比较贪心搜索与束搜索（可调束宽、长度归一化），逐步查看保留与剪枝的候选；并调节温度、Top-k、Top-p 观察采样分布与生成多样性。 - [一维生成对抗网络（GAN）训练](https://deeplearning.bnuai.com/demos/gan-1d.md): 在浏览器中实时训练一维生成对抗网络：生成器把高斯噪声映射为样本，判别器区分真假；观察生成分布逼近真实分布、D(x) 趋于 0.5，以及双峰目标下的模式坍塌。 - [K 均值聚类与主成分分析](https://deeplearning.bnuai.com/demos/kmeans-pca.md): 逐步执行 K 均值的分配与更新步骤，比较随机初始化和 k-means++，拖动聚类中心；在 PCA 中调节数据形状，查看协方差矩阵、主成分方向、解释方差比和投影重构误差。 - [Logistic 回归与感知器：决策边界](https://deeplearning.bnuai.com/demos/logistic-regression.md): 在浏览器中添加、拖动二维样本，用梯度下降实时训练 Logistic 回归或感知器，观察决策边界、权重向量、交叉熵损失、L2 正则与离群点的影响。 - [前馈神经网络训练场](https://deeplearning.bnuai.com/demos/mlp-playground.md): 在同心圆、异或、双螺旋等二维数据上，自定义隐藏层数、神经元个数、激活函数、学习率和 L2 正则，用纯 JavaScript 实时训练前馈神经网络并观察分类边界与训练 / 测试损失。 - [梯度下降优化器](https://deeplearning.bnuai.com/demos/optimizers.md): 在二维损失曲面（椭圆碗、Rosenbrock 函数、鞍点）上交互比较 SGD、动量法、Nesterov 加速梯度、RMSprop 和 Adam 的优化轨迹，调节学习率与步数，点击设置起点。 - [网格世界中的 Q 学习](https://deeplearning.bnuai.com/demos/q-learning.md): 在可编辑的网格世界中运行 Q 学习，调节学习率、折扣因子、探索率、每步奖励和打滑概率，实时查看每个状态四个动作的 Q 值、贪心策略和每回合步数曲线。 - [感受野与输出尺寸计算器](https://deeplearning.bnuai.com/demos/receptive-field.md): 堆叠卷积层和汇聚层，自定义核大小、步长、零填充和膨胀率，自动计算每层输出长度与感受野，并点击神经元可视化它在输入上的感受野。 - [循环神经网络的梯度消失与爆炸](https://deeplearning.bnuai.com/demos/rnn-gradient.md): 调节循环权重、输入权重、序列长度和激活函数，查看简单循环网络中 ∂h_T/∂h_k 随时间距离的指数衰减或增长，并与 LSTM 细胞状态通路（遗忘门）对比。 - [Softmax 与交叉熵](https://deeplearning.bnuai.com/demos/softmax.md): 调节四个类别的 logit、温度和真实类别，实时查看 softmax 概率、交叉熵损失、熵，以及交叉熵对 logit 的梯度 p − y；包含标签平滑。 ## Optional - [关于本站](https://deeplearning.bnuai.com/about/index.md): 关于北京师范大学《深度学习》课程网站：本站基于邱锡鹏《神经网络与深度学习》教材及其配套课件制作，说明内容来源与版权、讲义编写方式、课件转换方式、引用格式与反馈渠道。