主题
术语表
本页收录课程中最常用的 138 个术语，给出中文名、英文名、常见缩写和一句话定义，并链接到讲解该术语的章节。译名以邱锡鹏《神经网络与深度学习》为准（例如 pooling 译作“汇聚”，而不是“池化”；perceptron 译作“感知器”）。
每个术语都有固定锚点，可以直接链接，例如 /glossary/#batch-normalization。也可以用右上角的搜索框（快捷键 / 或 Ctrl+K）按中文或英文查找。
基础概念
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 人工智能 | Artificial Intelligence | AI | 让机器具有类似人类的智能行为（感知、学习、推理、决策）的研究领域。 | 第 1 章 |
| 机器学习 | Machine Learning | ML | 从有限的观测数据中学习出具有一般性的规律，并用于对未知数据进行预测的方法。 | 第 1 章 |
| 表示学习 | Representation Learning | — | 自动地从数据中学习有效特征（表示），以提高后续机器学习模型性能的方法。 | 第 1 章 |
| 深度学习 | Deep Learning | DL | 通过多层非线性变换学习数据的层次化表示，并端到端地完成任务的机器学习方法。 | 第 1 章 |
| 端到端学习 | End-to-End Learning | — | 学习过程中不进行分模块训练，直接优化从原始输入到最终输出的整体目标。 | 第 1 章 |
| 贡献度分配 | Credit Assignment Problem | CAP | 判断系统中不同组件（参数、动作）对最终结果的贡献或影响的问题。 | 第 1 章 |
| 分布式表示 | Distributed Representation | — | 用低维稠密向量表示概念，每个维度都不单独具有明确含义，语义分布在各维之中。 | 第 1 章 |
| 监督学习 | Supervised Learning | — | 训练样本带有标签，学习从输入到输出的映射，如回归与分类。 | 第 2 章 |
| 无监督学习 | Unsupervised Learning | UL | 从无标签数据中学习有用的模式，如聚类、密度估计和特征学习。 | 第 9 章 |
| 强化学习 | Reinforcement Learning | RL | 智能体通过与环境交互、根据奖励试错学习，以最大化期望总回报。 | 第 14 章 |
机器学习基础
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 期望风险 | Expected Risk | R(θ) | 模型在真实数据分布上的期望损失。 | 第 2 章 |
| 经验风险 | Empirical Risk | — | 模型在训练集上的平均损失，是期望风险的近似。 | 第 2 章 |
| 结构风险最小化 | Structural Risk Minimization | SRM | 在经验风险上加入正则化项以限制模型复杂度，防止过拟合。 | 第 2 章 |
| 过拟合 | Overfitting | — | 模型在训练集上错误率很低，但在未知数据上错误率很高的现象。 | 第 2 章 |
| 欠拟合 | Underfitting | — | 模型能力不足，在训练集上也无法取得较低错误率。 | 第 2 章 |
| 梯度下降 | Gradient Descent | GD | 沿损失函数负梯度方向迭代更新参数的优化方法。 | 第 2 章 |
| 随机梯度下降 | Stochastic Gradient Descent | SGD | 每次用单个或少量样本的梯度近似全量梯度进行更新。 | 第 2 章 |
| 最大似然估计 | Maximum Likelihood Estimation | MLE | 选择使观测数据出现概率最大的参数。 | 第 2 章 |
| 最大后验估计 | Maximum A Posteriori | MAP | 在似然基础上结合参数先验，选择后验概率最大的参数。 | 第 2 章 |
| 偏差-方差分解 | Bias–Variance Decomposition | — | 把期望错误分解为偏差、方差和噪声三部分，用以分析模型复杂度与泛化的关系。 | 第 2 章 |
| PAC 学习 | Probably Approximately Correct Learning | PAC | 以较高概率学到近似正确的模型所需样本量的理论框架。 | 第 2 章 |
| 没有免费午餐定理 | No Free Lunch Theorem | NFL | 不存在在所有问题上都优于其他算法的学习算法。 | 第 2 章 |
| 正则化 | Regularization | — | 所有降低泛化误差（而非训练误差）的方法，如范数约束、Dropout、提前停止。 | 第 7 章 |
线性模型
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| Logistic 回归 | Logistic Regression | LR | 用 Logistic 函数把线性函数值映射为类别后验概率的二分类模型。 | 第 3 章 |
| Softmax 回归 | Softmax Regression | — | Logistic 回归在多分类上的推广，用 softmax 函数输出各类概率。 | 第 3 章 |
| 交叉熵 | Cross Entropy | CE | 衡量两个分布差异的量，分类中常用作损失函数。 | 第 3 章 |
| KL 散度 | Kullback–Leibler Divergence | KL | 用分布 q 近似分布 p 时损失的信息量，非对称、非负。 | 第 3 章 |
| 感知器 | Perceptron | — | 最简单的线性二分类神经网络，错误驱动地在线更新权重。 | 第 3 章 |
| 支持向量机 | Support Vector Machine | SVM | 寻找间隔最大的分类超平面的线性模型，可借助核函数处理非线性问题。 | 第 3 章 |
| 核技巧 | Kernel Trick | — | 用核函数隐式计算高维特征空间中的内积，避免显式映射。 | 第 3 章 |
神经网络基础
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 神经元 | Neuron | — | 神经网络的基本单元：对输入加权求和后通过激活函数输出。 | 第 4 章 |
| 激活函数 | Activation Function | — | 神经元中的非线性函数，如 Sigmoid、Tanh、ReLU、GELU。 | 第 4 章 |
| 修正线性单元 | Rectified Linear Unit | ReLU | ReLU(x)=max(0,x)，计算简单且缓解梯度消失。 | 第 4 章 |
| 前馈神经网络 | Feedforward Neural Network | FNN | 信息单向从输入层经隐藏层流向输出层的网络，也称多层感知器（MLP）。 | 第 4 章 |
| 通用近似定理 | Universal Approximation Theorem | — | 具有一个足够宽的隐藏层的前馈网络可以以任意精度近似任意连续函数。 | 第 4 章 |
| 反向传播 | Backpropagation | BP | 利用链式法则从输出层向输入层逐层计算误差项和参数梯度的算法。 | 第 4 章 |
| 自动微分 | Automatic Differentiation | AD | 基于计算图对程序自动计算导数的方法，分前向模式与反向模式。 | 第 4 章 |
| 计算图 | Computational Graph | — | 把复合函数分解为基本运算节点组成的有向图，用于前向计算与求导。 | 第 4 章 |
| 梯度消失 | Vanishing Gradient | — | 误差在反向传播中逐层衰减，导致靠近输入的层难以训练。 | 第 4 章 |
| 卷积 | Convolution | — | 用卷积核在输入上滑动做局部加权求和的运算，深度学习中多指互相关。 | 第 5 章 |
| 卷积神经网络 | Convolutional Neural Network | CNN | 由卷积层、汇聚层和全连接层组成，具有局部连接、权重共享特性的网络。 | 第 5 章 |
| 感受野 | Receptive Field | — | 一个神经元在输入上能“看到”的区域。 | 第 5 章 |
| 汇聚 | Pooling | — | 对局部区域做下采样（最大或平均），减少特征数量、增加平移不变性。 | 第 5 章 |
| 残差网络 | Residual Network | ResNet | 通过恒等捷径连接让网络学习残差函数，使训练极深网络成为可能。 | 第 5 章 |
| 空洞卷积 | Dilated Convolution | — | 在卷积核元素间插入空洞，在不增加参数的情况下扩大感受野。 | 第 5 章 |
| 转置卷积 | Transposed Convolution | — | 卷积的“反向”映射，常用于把低维特征上采样到高维。 | 第 5 章 |
| 循环神经网络 | Recurrent Neural Network | RNN | 具有短期记忆能力、隐状态随时间递归更新的网络，适合处理序列。 | 第 6 章 |
| 随时间反向传播 | Backpropagation Through Time | BPTT | 把循环网络按时间展开后应用反向传播计算梯度。 | 第 6 章 |
| 长程依赖问题 | Long-Term Dependencies Problem | — | 由于梯度消失或爆炸，简单循环网络难以学习远距离的依赖关系。 | 第 6 章 |
| 长短期记忆网络 | Long Short-Term Memory | LSTM | 引入内部记忆单元和输入门、遗忘门、输出门的循环网络，缓解长程依赖问题。 | 第 6 章 |
| 门控循环单元 | Gated Recurrent Unit | GRU | 用更新门和重置门控制信息流动的简化版 LSTM。 | 第 6 章 |
| 图神经网络 | Graph Neural Network | GNN | 在图结构数据上通过邻居间消息传递学习节点表示的网络。 | 第 6 章 |
优化与正则化
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 小批量梯度下降 | Mini-Batch Gradient Descent | — | 每次用 K 个样本的平均梯度更新参数，兼顾效率与稳定性。 | 第 7 章 |
| 学习率衰减 | Learning Rate Decay | — | 随训练逐步减小学习率，如阶梯、指数、余弦衰减。 | 第 7 章 |
| 学习率预热 | Learning Rate Warmup | — | 训练初期用较小学习率逐渐增大到设定值，提升训练稳定性。 | 第 7 章 |
| AdaGrad | Adaptive Gradient | AdaGrad | 按历史梯度平方和为每个参数自适应调整学习率。 | 第 7 章 |
| RMSprop | Root Mean Square Propagation | RMSprop | 用梯度平方的指数移动平均调整学习率，避免 AdaGrad 学习率过早衰减。 | 第 7 章 |
| 动量法 | Momentum | — | 用历史梯度的加权累积作为更新方向，加速收敛并抑制震荡。 | 第 7 章 |
| Adam | Adaptive Moment Estimation | Adam | 结合动量（一阶矩）与 RMSprop（二阶矩）并做偏差修正的优化算法。 | 第 7 章 |
| 梯度截断 | Gradient Clipping | — | 把梯度限制在一定范围内，防止梯度爆炸。 | 第 7 章 |
| Xavier 初始化 | Xavier Initialization | — | 按 2/(M_in+M_out) 设置权重方差，保持各层信号方差稳定。 | 第 7 章 |
| He 初始化 | He (Kaiming) Initialization | — | 针对 ReLU 按 2/M_in 设置权重方差的初始化方法。 | 第 7 章 |
| 批量归一化 | Batch Normalization | BN | 用小批量统计量对每个神经元的净输入做标准化，再缩放平移。 | 第 7 章 |
| 层归一化 | Layer Normalization | LN | 对单个样本一层内所有神经元做标准化，适合 RNN 与 Transformer。 | 第 7 章 |
| 权重衰减 | Weight Decay | — | 每步更新时让参数按比例收缩，在 SGD 中等价于 ℓ2 正则。 | 第 7 章 |
| 提前停止 | Early Stopping | — | 当验证集性能不再提升时停止训练，防止过拟合。 | 第 7 章 |
| 丢弃法 | Dropout | — | 训练时随机丢弃部分神经元，相当于集成大量共享参数的子网络。 | 第 7 章 |
| 数据增强 | Data Augmentation | — | 通过旋转、翻转、裁剪、加噪等变换扩充训练数据。 | 第 7 章 |
| 标签平滑 | Label Smoothing | — | 把 one-hot 硬目标替换为软目标，防止模型过度自信。 | 第 7 章 |
| 超参数优化 | Hyperparameter Optimization | HPO | 搜索学习率、网络结构等超参数的最优配置，如网格搜索、随机搜索、贝叶斯优化。 | 第 7 章 |
注意力与记忆
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 注意力机制 | Attention Mechanism | — | 根据查询向量为输入分配权重并加权聚合信息，让模型聚焦相关部分。 | 第 8 章 |
| 自注意力 | Self-Attention | — | 序列内部各位置相互计算注意力，动态生成“全连接”权重。 | 第 8 章 |
| 查询-键-值 | Query–Key–Value | QKV | 自注意力的计算模式：用查询与键的相似度对值进行加权求和。 | 第 8 章 |
| 多头注意力 | Multi-Head Attention | MHA | 并行使用多组注意力，从不同子空间捕获信息后拼接。 | 第 8 章 |
| Transformer | Transformer | — | 完全基于多头自注意力和前馈网络、带残差与层归一化的序列模型。 | 第 8 章 |
| 位置编码 | Positional Encoding | PE | 为自注意力模型注入序列位置信息的向量。 | 第 8 章 |
| 指针网络 | Pointer Network | Ptr-Net | 用注意力分布作为指向输入序列元素的“软指针”的序列模型。 | 第 8 章 |
| 记忆网络 | Memory Network | MemNN | 通过注意力读写外部记忆来增加网络容量的模型。 | 第 8 章 |
| 神经图灵机 | Neural Turing Machine | NTM | 由控制器和可微读写的外部记忆组成的记忆增强网络。 | 第 8 章 |
| Hopfield 网络 | Hopfield Network | — | 权重对称的全连接循环网络，通过能量下降收敛到吸引点实现联想记忆。 | 第 8 章 |
| 联想记忆 | Associative Memory | — | 根据部分或带噪声的线索检索出完整存储模式的记忆方式。 | 第 8 章 |
无监督与学习方式
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 主成分分析 | Principal Component Analysis | PCA | 把数据投影到方差最大的方向上的线性降维方法。 | 第 9 章 |
| 稀疏编码 | Sparse Coding | — | 用过完备字典中少数基向量的线性组合表示输入。 | 第 9 章 |
| 自编码器 | Auto-Encoder | AE | 通过编码器-解码器重构输入来学习数据有效表示的网络。 | 第 9 章 |
| 降噪自编码器 | Denoising Auto-Encoder | DAE | 从加噪的输入中重构原始输入，学习更鲁棒的表示。 | 第 9 章 |
| 概率密度估计 | Density Estimation | — | 根据样本估计其概率密度函数，分参数方法和非参数方法。 | 第 9 章 |
| 核密度估计 | Kernel Density Estimation | KDE | 用以每个样本为中心的核函数之和估计密度，又称 Parzen 窗方法。 | 第 9 章 |
| 集成学习 | Ensemble Learning | — | 组合多个模型以提高准确率，如 Bagging、随机森林、Boosting。 | 第 10 章 |
| AdaBoost | Adaptive Boosting | AdaBoost | 顺序训练弱分类器、提高错分样本权重并加权组合的 Boosting 算法。 | 第 10 章 |
| 协同训练 | Co-Training | — | 基于两个独立充分视角、互相提供伪标签的半监督学习方法。 | 第 10 章 |
| 多任务学习 | Multi-Task Learning | MTL | 同时学习多个相关任务并共享知识，以提高各任务的泛化能力。 | 第 10 章 |
| 迁移学习 | Transfer Learning | — | 把源领域学到的知识迁移到目标领域，如预训练-微调、领域适应。 | 第 10 章 |
| 领域适应 | Domain Adaptation | DA | 源领域和目标领域任务相同但分布不同时的迁移学习。 | 第 10 章 |
| 元学习 | Meta-Learning | — | “学习如何学习”，从多个任务中积累经验以快速适应新任务。 | 第 10 章 |
| 模型无关的元学习 | Model-Agnostic Meta-Learning | MAML | 学习一个好的初始化参数，使模型在新任务上少量梯度更新即可适应。 | 第 10 章 |
| 终身学习 | Lifelong Learning | — | 持续学习一系列任务并保留旧知识，也称持续学习。 | 第 10 章 |
| 灾难性遗忘 | Catastrophic Forgetting | — | 学习新任务后，旧任务性能急剧下降的现象。 | 第 10 章 |
概率图模型
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 概率图模型 | Probabilistic Graphical Model | PGM | 用图结构描述随机变量之间依赖关系的概率模型。 | 第 11 章 |
| 贝叶斯网络 | Bayesian Network | BN | 用有向无环图表示、联合分布分解为局部条件概率乘积的图模型。 | 第 11 章 |
| 马尔可夫随机场 | Markov Random Field | MRF | 用无向图表示、联合分布分解为团势能函数乘积的图模型。 | 第 11 章 |
| 隐马尔可夫模型 | Hidden Markov Model | HMM | 隐状态构成马尔可夫链、观测只依赖当前隐状态的序列模型。 | 第 11 章 |
| 条件随机场 | Conditional Random Field | CRF | 直接建模条件概率 p(y|x) 的无向图模型，常用于序列标注。 | 第 11 章 |
| 高斯混合模型 | Gaussian Mixture Model | GMM | 由多个高斯分布加权组合而成的概率模型。 | 第 11 章 |
| 期望最大化算法 | Expectation-Maximization | EM | 交替执行 E 步（估计隐变量后验）与 M 步（最大化 ELBO）的参数估计方法。 | 第 11 章 |
| 证据下界 | Evidence Lower Bound | ELBO | 对数边际似然的一个下界，是 EM 和变分推断的优化目标。 | 第 11 章 |
| 信念传播 | Belief Propagation | BP | 在图上相邻节点之间传递消息以计算边际概率的推断算法（和积算法）。 | 第 11 章 |
| 马尔可夫链蒙特卡罗 | Markov Chain Monte Carlo | MCMC | 构造平稳分布为目标分布的马尔可夫链来采样的方法。 | 第 11 章 |
| 吉布斯采样 | Gibbs Sampling | — | 每次从单个变量的全条件分布中采样的 MCMC 方法。 | 第 11 章 |
| 重要性采样 | Importance Sampling | IS | 从提议分布采样并用重要性权重修正，以估计目标分布下的期望。 | 第 11 章 |
深度生成模型
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 玻尔兹曼机 | Boltzmann Machine | BM | 由二值随机神经元组成、服从玻尔兹曼分布的全连接能量模型。 | 第 12 章 |
| 受限玻尔兹曼机 | Restricted Boltzmann Machine | RBM | 可观测层与隐藏层之间全连接、层内无连接的二分图玻尔兹曼机。 | 第 12 章 |
| 对比散度 | Contrastive Divergence | CD | 从训练样本出发只做 k 步吉布斯采样来近似 RBM 梯度的训练算法。 | 第 12 章 |
| 深度信念网络 | Deep Belief Network | DBN | 顶部两层为 RBM、其余层为有向 Sigmoid 信念网络的深层生成模型。 | 第 12 章 |
| 生成模型 | Generative Model | — | 学习数据分布并能生成新样本的概率模型。 | 第 13 章 |
| 变分自编码器 | Variational Auto-Encoder | VAE | 用推断网络与生成网络近似后验和似然、最大化 ELBO 的深度生成模型。 | 第 13 章 |
| 再参数化技巧 | Reparameterization Trick | — | 把随机变量写成参数与无关噪声的确定性函数，使采样过程可导。 | 第 13 章 |
| 生成对抗网络 | Generative Adversarial Network | GAN | 生成网络与判别网络通过极小极大博弈对抗训练的隐式生成模型。 | 第 13 章 |
| 模型坍塌 | Mode Collapse | — | GAN 只生成少数几种样本、缺乏多样性的现象。 | 第 13 章 |
| Wasserstein GAN | Wasserstein GAN | WGAN | 用 Wasserstein 距离代替 JS 散度、训练更稳定的 GAN。 | 第 13 章 |
强化学习与序列生成
| 中文 | 英文 | 缩写 | 定义 | 章节 |
|---|---|---|---|---|
| 马尔可夫决策过程 | Markov Decision Process | MDP | 由状态、动作、转移概率、奖励和折扣率组成的序贯决策模型。 | 第 14 章 |
| 策略 | Policy | π(a|s) | 智能体根据状态选择动作的函数。 | 第 14 章 |
| 值函数 | Value Function | V(s), Q(s,a) | 从某状态（或状态-动作对）出发按策略执行的期望总回报。 | 第 14 章 |
| 贝尔曼方程 | Bellman Equation | — | 值函数满足的递归关系：当前值 = 即时奖励 + 折扣后的下一状态值。 | 第 14 章 |
| 时序差分学习 | Temporal-Difference Learning | TD | 用“即时奖励 + 下一状态估计值”自举更新当前估计的方法。 | 第 14 章 |
| Q 学习 | Q-Learning | — | 以下一状态最大 Q 值为目标更新的异策略时序差分算法。 | 第 14 章 |
| 深度 Q 网络 | Deep Q-Network | DQN | 用深度网络近似 Q 函数，并借助经验回放和目标网络稳定训练。 | 第 14 章 |
| 经验回放 | Experience Replay | — | 把交互数据存入缓冲区并随机采样训练，打破样本相关性。 | 第 14 章 |
| 策略梯度 | Policy Gradient | PG | 直接对参数化策略的期望回报求梯度并做梯度上升的方法。 | 第 14 章 |
| 演员-评论员算法 | Actor-Critic | AC | 用值函数（评论员）评价、策略函数（演员）决策的强化学习方法。 | 第 14 章 |
| 语言模型 | Language Model | LM | 计算序列概率或预测下一个词的模型。 | 第 15 章 |
| N 元模型 | N-gram Model | — | 假设每个词只依赖前 N−1 个词、用频率估计条件概率的语言模型。 | 第 15 章 |
| 束搜索 | Beam Search | — | 每步保留概率最高的 K 个候选序列的近似搜索方法。 | 第 15 章 |
| 困惑度 | Perplexity | PPL | 测试集上每个词条件概率几何平均的倒数，越低表示语言模型越好。 | 第 15 章 |
| BLEU | Bilingual Evaluation Understudy | BLEU | 基于 N 元组截断精度和长度惩罚的机器翻译评价指标。 | 第 15 章 |
| ROUGE | Recall-Oriented Understudy for Gisting Evaluation | ROUGE | 基于 N 元组召回率的文本摘要评价指标。 | 第 15 章 |
| 序列到序列模型 | Sequence-to-Sequence | Seq2Seq | 把输入序列编码后再解码生成输出序列的条件生成模型。 | 第 15 章 |
| 词嵌入 | Word Embedding | — | 把词映射为低维稠密向量的分布式表示。 | 第 15 章 |
| 曝光偏差 | Exposure Bias | — | 训练时使用真实历史、测试时使用模型生成历史所带来的不一致。 | 第 15 章 |