# 第 11 章　概率图模型

> 来源：https://deeplearning.bnuai.com/chapters/11-probabilistic-graphical-models ｜ 作者：唐志清（北京师范大学） ｜ 更新：2026-11-01 ｜ 内容依据邱锡鹏《神经网络与深度学习》（https://nndl.ai/）及作者公开课件

## 学习目标

<div class="goals">

- 理解概率图模型用图结构分解高维联合分布的思想，以及“表示—学习—推断”三个基本问题；
- 掌握贝叶斯网络的因子分解和局部马尔可夫性质，能判断几种典型结构中的条件独立性；
- 掌握马尔可夫随机场的团势能分解（Hammersley–Clifford 定理），了解对数线性模型与条件随机场；
- 掌握 EM 算法的推导（ELBO）及其在高斯混合模型上的应用，理解与 K 均值的关系；
- 理解变量消除与信念传播（和积算法）；
- 掌握拒绝采样、重要性采样、Metropolis–Hastings 和吉布斯采样。

</div>

## 课件幻灯片

> 本章课件共 80 页，可在网页中逐页浏览：https://deeplearning.bnuai.com/chapters/11-probabilistic-graphical-models；PDF 下载：https://deeplearning.bnuai.com/pdf/nndl-ch11.pdf

## 讲义

### 11.1 为什么需要概率图模型

一个 $K$ 维的离散随机向量 $\boldsymbol X=[X_1,\cdots,X_K]$，若每个变量有 $m$ 个取值，其联合概率表需要 $m^K-1$ 个参数——参数数量随维数指数增长。如果变量之间存在条件独立性，联合分布就可以分解为若干局部条件概率的乘积，参数大大减少。[幻灯片 2](#slide-2)

**概率图模型**用图来描述这种依赖关系：节点表示随机变量，边表示变量之间的概率依赖。它涉及三个基本问题：[幻灯片 3](#slide-3) [幻灯片 5](#slide-5)

- **表示问题**：如何用图结构描述变量之间的依赖关系（有向图 / 无向图）；
- **学习问题**：图结构的学习和参数的估计；
- **推断问题**：已知部分变量时，计算其他变量的条件概率分布。

```mermaid
flowchart LR
  P["概率图模型"] --> R["表示"]
  P --> L["学习"]
  P --> I["推断"]
  R --> R1["有向图：贝叶斯网络"]
  R --> R2["无向图：马尔可夫随机场"]
  L --> L1["完全观测：最大似然"]
  L --> L2["含隐变量：EM 算法"]
  I --> I1["精确推断：变量消除、信念传播"]
  I --> I2["近似推断：采样法、变分法"]
```

### 11.2 有向图模型：贝叶斯网络

**贝叶斯网络**用**有向无环图**表示变量间的因果关系。若 $\pi_k$ 为 $X_k$ 的父节点集合，则联合分布可分解为局部条件概率的乘积：[幻灯片 7](#slide-7)

$$
p(\boldsymbol x)=\prod_{k=1}^{K}p\big(x_k\mid\boldsymbol x_{\pi_k}\big).
$$

**条件独立性**。对三个变量的四种典型结构：[幻灯片 10](#slide-10)

| 结构 | 示意 | 独立性 |
| --- | --- | --- |
| 间接因果 | $X_1\to X_2\to X_3$ | 已知 $X_2$ 时 $X_1\perp X_3$ |
| 间接果因 | $X_1\leftarrow X_2\leftarrow X_3$ | 已知 $X_2$ 时 $X_1\perp X_3$ |
| 共因 | $X_1\leftarrow X_2\to X_3$ | 已知 $X_2$ 时 $X_1\perp X_3$ |
| 共果（V 结构） | $X_1\to X_2\leftarrow X_3$ | $X_1\perp X_3$；**已知 $X_2$ 时反而不独立** |

**局部马尔可夫性质**：每个变量在给定父节点时，与其非后代变量条件独立，$X_k\perp Z\mid X_{\pi_k}$。[幻灯片 9](#slide-9)

**常见的有向图模型**：[幻灯片 11](#slide-11)

- **Sigmoid 信念网络**：$p(x_k=1\mid\boldsymbol x_{\pi_k};\theta)=\sigma\big(\theta_0+\sum_{x_i\in\boldsymbol x_{\pi_k}}\theta_ix_i\big)$，局部条件概率由 Logistic 函数参数化，参数量从指数级降为线性；
- **朴素贝叶斯**：给定类别 $y$ 时各特征条件独立，$p(y\mid\boldsymbol x)\propto p(y)\prod_d p(x_d\mid y)$；
- **隐马尔可夫模型**（HMM）：隐状态序列构成马尔可夫链，观测只依赖当前隐状态，$p(\boldsymbol x,\boldsymbol y)=\prod_{t=1}^{T}p(y_t\mid y_{t-1})\,p(x_t\mid y_t)$；[幻灯片 12](#slide-12)
- **高斯混合模型**（GMM）：先按 $\pi_k$ 选择一个成分 $z$，再从对应高斯分布生成 $\boldsymbol x$，$p(\boldsymbol x)=\sum_{k=1}^{K}\pi_k\mathcal N(\boldsymbol x;\boldsymbol\mu_k,\boldsymbol\Sigma_k)$；[幻灯片 13](#slide-13)
- **概率主题模型**（LDA）：每篇文档有一个主题分布，每个词先选主题、再从主题的词分布中生成。[幻灯片 15](#slide-15)

### 11.3 无向图模型：马尔可夫随机场

**马尔可夫随机场**（马尔可夫网络）用无向图表示变量间的相互作用（无明确因果方向），满足**局部马尔可夫性**：给定一个变量的所有邻居，它与其他所有变量条件独立，$X_k\perp\boldsymbol X_{\setminus\mathcal N(k),\setminus k}\mid\boldsymbol X_{\mathcal N(k)}$。[幻灯片 18](#slide-18) [幻灯片 19](#slide-19)

无向图的联合分布用**团**来分解。团是全连通的节点子集，不能再加入任何节点的团称为**最大团**。[幻灯片 20](#slide-20) **Hammersley–Clifford 定理**：如果一个分布 $p(\boldsymbol x)>0$ 满足无向图中的局部马尔可夫性质，当且仅当它可以表示为一系列定义在最大团上的非负函数的乘积：[幻灯片 21](#slide-21)

$$
p(\boldsymbol x)=\frac1Z\prod_{c\in\mathcal C}\phi_c(\boldsymbol x_c),\qquad Z=\sum_{\boldsymbol x}\prod_{c\in\mathcal C}\phi_c(\boldsymbol x_c).
$$

$\phi_c$ 称为**势能函数**，$Z$ 为**配分函数**。由于势能函数必须为正，一般定义为 $\phi_c(\boldsymbol x_c)=\exp(-E_c(\boldsymbol x_c))$，这样的分布也称为**吉布斯分布**或**玻尔兹曼分布**：$p(\boldsymbol x)=\frac1Z\exp\big(-\sum_c E_c(\boldsymbol x_c)\big)$。

**示例：图像去噪**。把每个像素的真实值作为隐变量 $y_i$，观测的带噪像素为 $x_i$；能量函数包括“$y_i$ 与 $x_i$ 尽量一致”和“相邻像素 $y_i,y_j$ 尽量一致”两项，最小化能量即可得到去噪后的图像。[幻灯片 23](#slide-23) [幻灯片 26](#slide-26)

**常见的无向图模型**：[幻灯片 27](#slide-27)

- **对数线性模型**（最大熵模型）：势能函数取 $\phi_c(\boldsymbol x_c\mid\theta_c)=\exp\big(\theta_c^\top f_c(\boldsymbol x_c)\big)$，$p(\boldsymbol x;\theta)=\frac{1}{Z(\theta)}\exp\big(\sum_c\theta_c^\top f_c(\boldsymbol x_c)\big)$；用于分类时 $p(y\mid\boldsymbol x)=\frac{1}{Z(\boldsymbol x;\theta)}\exp(\theta^\top f(\boldsymbol x,y))$，这正是 Softmax 回归。
- **条件随机场**（CRF）：直接建模条件概率 $p(\boldsymbol y\mid\boldsymbol x)$ 的无向图模型，常用于序列标注。**线性链条件随机场**：$p(\boldsymbol y\mid\boldsymbol x;\theta)=\frac{1}{Z(\boldsymbol x;\theta)}\exp\Big(\sum_{t=1}^{T}\theta_1^\top f_1(\boldsymbol x,y_t)+\sum_{t=1}^{T-1}\theta_2^\top f_2(\boldsymbol x,y_t,y_{t+1})\Big)$。

**有向图与无向图的转换**。把有向图转换为无向图时，需要保证每个局部条件概率 $p(x_k\mid\boldsymbol x_{\pi_k})$ 都落在某个团中，因此要把同一节点的所有父节点两两相连，并去掉边的方向，这个过程称为**道德化**，得到的无向图称为**道德图**。道德化可能会丢失一些条件独立性（例如 V 结构的边缘独立性）。[幻灯片 29](#slide-29) [幻灯片 31](#slide-31)

### 11.4 学习

**完全观测时的参数估计**：有向图模型的对数似然分解为各局部条件概率的对数似然之和，可以分别独立地估计。[幻灯片 35](#slide-35) 无向图模型的对数似然为

$$
\mathcal L(\theta)=\frac1N\sum_{n=1}^{N}\log p(\boldsymbol x^{(n)};\theta),\qquad
\frac{\partial\mathcal L}{\partial\theta_c}=\mathbb E_{\boldsymbol x\sim\tilde p}\big[f_c(\boldsymbol x_c)\big]-\mathbb E_{\boldsymbol x\sim p(\boldsymbol x;\theta)}\big[f_c(\boldsymbol x_c)\big],
$$

即“经验分布下的期望 − 模型分布下的期望”。后者因为配分函数通常难以计算，需要采样近似（见第 12 章的对比散度）。[幻灯片 36](#slide-36)

**含隐变量的参数学习：EM 算法**。当模型包含隐变量 $\boldsymbol z$ 时，边际似然 $\log p(\boldsymbol x;\theta)=\log\sum_{\boldsymbol z}p(\boldsymbol x,\boldsymbol z;\theta)$ 中对数里有求和，难以直接优化。引入一个关于 $\boldsymbol z$ 的分布 $q(\boldsymbol z)$，由 Jensen 不等式得到**证据下界**（ELBO）：[幻灯片 37](#slide-37) [幻灯片 38](#slide-38)

$$
\log p(\boldsymbol x;\theta)=\underbrace{\sum_{\boldsymbol z}q(\boldsymbol z)\log\frac{p(\boldsymbol x,\boldsymbol z;\theta)}{q(\boldsymbol z)}}_{\mathrm{ELBO}(q,\boldsymbol x;\theta)}+\mathrm{KL}\big(q(\boldsymbol z)\,\|\,p(\boldsymbol z\mid\boldsymbol x;\theta)\big)\ \ge\ \mathrm{ELBO}(q,\boldsymbol x;\theta).
$$

**期望最大化**（EM）算法交替地优化 ELBO：[幻灯片 43](#slide-43) [幻灯片 45](#slide-45)

- **E 步**：固定 $\theta_t$，令 $q_{t+1}(\boldsymbol z)=p(\boldsymbol z\mid\boldsymbol x;\theta_t)$，此时 KL 为 0，ELBO 等于对数似然；
- **M 步**：固定 $q_{t+1}$，求 $\theta_{t+1}=\arg\max_\theta\mathrm{ELBO}(q_{t+1},\boldsymbol x;\theta)$。

每次迭代都不会使对数似然下降，因此 EM 算法收敛到似然函数的局部最优（或鞍点）。[幻灯片 46](#slide-46)

**示例：高斯混合模型**。[幻灯片 47](#slide-47) [幻灯片 50](#slide-50) E 步计算每个样本属于第 $k$ 个成分的后验概率（“责任”）：

$$
\gamma_{nk}=p\big(z^{(n)}=k\mid\boldsymbol x^{(n)}\big)=\frac{\pi_k\mathcal N(\boldsymbol x^{(n)};\boldsymbol\mu_k,\boldsymbol\sigma_k)}{\sum_{j=1}^{K}\pi_j\mathcal N(\boldsymbol x^{(n)};\boldsymbol\mu_j,\boldsymbol\sigma_j)};
$$

M 步令 $N_k=\sum_n\gamma_{nk}$，更新

$$
\pi_k=\frac{N_k}{N},\qquad \boldsymbol\mu_k=\frac{1}{N_k}\sum_{n=1}^{N}\gamma_{nk}\boldsymbol x^{(n)},\qquad \sigma_k^2=\frac{1}{N_k}\sum_{n=1}^{N}\gamma_{nk}\big(\boldsymbol x^{(n)}-\boldsymbol\mu_k\big)^2 .
$$

**K 均值**可以看作 GMM 的一个特例：当所有成分共享方差且方差趋于 0 时，“软”的责任 $\gamma_{nk}$ 变成“硬”的 0/1 指派——E 步把样本分给最近的中心，M 步把中心更新为簇内样本的均值。[幻灯片 40](#slide-40) [幻灯片 42](#slide-42)

### 11.5 推断

推断是指在观测到部分变量 $\boldsymbol e$ 时，计算其他变量的某个子集 $\boldsymbol q$ 的条件概率 $p(\boldsymbol q\mid\boldsymbol e)=\frac{p(\boldsymbol q,\boldsymbol e)}{p(\boldsymbol e)}$。因此推断的关键是计算**边际概率** $p(\boldsymbol q,\boldsymbol e)=\sum_{\boldsymbol z}p(\boldsymbol q,\boldsymbol e,\boldsymbol z)$。直接求和的复杂度随变量个数指数增长。[幻灯片 55](#slide-55) [幻灯片 56](#slide-56)

**变量消除法**：利用乘法对加法的分配律，把求和“推”到只与相关因子有关的位置，逐个消去变量。例如对链 $x_1-x_2-x_3-x_4$：[幻灯片 57](#slide-57)

$$
p(x_4)=\sum_{x_3}\phi(x_3,x_4)\sum_{x_2}\phi(x_2,x_3)\sum_{x_1}\phi(x_1,x_2),
$$

计算量从 $O(m^4)$ 降为 $O(3m^2)$。但每计算一个边际概率都要重新消除一遍，存在重复计算。

**信念传播算法**（和积算法）把变量消除中的中间结果看作在相邻节点之间传递的**消息**，并加以复用。[幻灯片 58](#slide-58) 在链上，第 $t$ 个节点向第 $t+1$ 个节点传递的前向消息为 $\mu_{t,t+1}(x_{t+1})=\sum_{x_t}\phi(x_t,x_{t+1})\,\mu_{t-1,t}(x_t)$，反向消息类似。一个节点的边际概率正比于它收到的所有消息的乘积：$p(x_t)\propto\mu_{t-1,t}(x_t)\,\mu_{t+1,t}(x_t)$。只需一次前向、一次反向传递，就能得到所有节点的边际概率。[幻灯片 59](#slide-59) [幻灯片 61](#slide-61) 对树结构的图同样可以精确推断；对有环图，可以把它转换为联合树，或者直接迭代传递消息（**环路信念传播**，近似推断）。[幻灯片 62](#slide-62)

### 11.6 近似推断：采样法

在实际应用中，精确推断往往不可行，需要**近似推断**：**环路信念传播**、**变分推断**（用简单分布近似复杂后验，见第 13 章 VAE）和**采样法**。[幻灯片 63](#slide-63)

**采样法**（蒙特卡罗方法）：要计算 $\mathbb E_{p}[f(x)]=\int f(x)p(x)\,dx$，可以从 $p(x)$ 中独立采样 $x^{(1)},\cdots,x^{(N)}$，用 $\hat f_N=\frac1N\sum_n f(x^{(n)})$ 近似。根据大数定律，$N$ 足够大时它收敛到真实期望。关键问题是：如何从复杂分布中采样？[幻灯片 65](#slide-65) [幻灯片 66](#slide-66)

- **拒绝采样**：选一个容易采样的**提议分布** $q(x)$ 和常数 $k$，使得 $kq(x)\ge\hat p(x)$（$\hat p$ 为未归一化的目标分布）。从 $q(x)$ 采样 $\hat x$，以接受概率 $\alpha(\hat x)=\frac{\hat p(\hat x)}{kq(\hat x)}$ 接受。$kq(x)$ 与 $\hat p(x)$ 越接近，接受率越高；高维时接受率往往非常低。[幻灯片 67](#slide-67) [幻灯片 68](#slide-68)
- **重要性采样**：不直接从 $p$ 采样，而是从 $q$ 采样并加权：$\mathbb E_p[f(x)]=\mathbb E_q\big[f(x)w(x)\big]$，其中**重要性权重** $w(x)=\frac{p(x)}{q(x)}$。[幻灯片 69](#slide-69)

**马尔可夫链蒙特卡罗**（MCMC）：构造一个马尔可夫链，使其**平稳分布**恰好是目标分布 $p(x)$；从任意初始状态出发运行足够长时间（**预烧期**）后，链上的状态就近似服从 $p(x)$。[幻灯片 70](#slide-70) [幻灯片 74](#slide-74) 马尔可夫链满足**细致平稳条件** $p(x)T(x'\mid x)=p(x')T(x\mid x')$ 时，$p(x)$ 就是它的平稳分布。[幻灯片 72](#slide-72) [幻灯片 73](#slide-73)

- **Metropolis–Hastings 算法**：从提议分布 $q(\hat x\mid x_t)$ 采样候选 $\hat x$，以概率[幻灯片 75](#slide-75)
  $$\alpha(\hat x,x_t)=\min\Big(1,\ \frac{p(\hat x)\,q(x_t\mid\hat x)}{p(x_t)\,q(\hat x\mid x_t)}\Big)$$
  接受（$x_{t+1}=\hat x$），否则 $x_{t+1}=x_t$。可以验证这样构造的转移满足细致平稳条件。若提议分布对称，$q(\hat x\mid x_t)=q(x_t\mid\hat x)$，接受率简化为 $\min\big(1,\frac{p(\hat x)}{p(x_t)}\big)$，即 **Metropolis 算法**。[幻灯片 77](#slide-77)
- **吉布斯采样**：每次只更新一个变量，从其**全条件分布** $p(x_i\mid\boldsymbol x_{\setminus i})$ 中采样。它是 MH 算法的特例，接受率恒为 1。在图模型中，全条件分布只依赖于该变量的马尔可夫毯，计算很方便。[幻灯片 78](#slide-78)

使用 MCMC 时需注意：预烧期长短难以确定；相邻样本高度相关，可以每隔若干步取一个样本；提议分布的选择会显著影响混合速度。[幻灯片 79](#slide-79)

## 本章小结

- 概率图模型用图分解联合分布：有向图 $p(\boldsymbol x)=\prod_k p(x_k\mid\boldsymbol x_{\pi_k})$，无向图 $p(\boldsymbol x)=\frac1Z\prod_c\phi_c(\boldsymbol x_c)$。
- 学习：完全观测时最大似然；含隐变量时用 EM 交替最大化 ELBO（GMM、K 均值）。
- 精确推断：变量消除、信念传播（消息传递）；近似推断：采样（拒绝、重要性、MCMC）与变分推断。

## 思考题与习题 {#exercises}

<div class="exercise-list">

1. **（概念，课件练习）** 对贝叶斯网络 $X_1\to X_3\leftarrow X_2,\ X_3\to X_4$，写出联合分布的分解；判断 $X_1\perp X_2$、$X_1\perp X_2\mid X_4$ 是否成立。
2. **（计算）** 10 个二值变量，完全联合分布需要多少参数？若它们构成一条马尔可夫链，需要多少参数？
3. **（推导）** 推导 $\log p(\boldsymbol x;\theta)=\mathrm{ELBO}+\mathrm{KL}(q\,\|\,p(\boldsymbol z\mid\boldsymbol x;\theta))$，并说明 EM 算法为什么单调提升似然。
4. **（推导）** 推导 GMM 中 $\boldsymbol\mu_k$ 的 M 步更新公式。
5. **（推导）** 证明 Metropolis–Hastings 算法的转移核满足细致平稳条件。
6. **（编程）** 用 EM 算法拟合一维两成分 GMM（数据由 $\mathcal N(-2,1)$ 和 $\mathcal N(3,0.5^2)$ 按 3:7 混合生成），画出对数似然随迭代的变化；再用吉布斯采样对同一模型做推断并比较。

</div>

**部分提示**

- 第 1 题：$p=p(x_1)p(x_2)p(x_3\mid x_1,x_2)p(x_4\mid x_3)$。$X_1\perp X_2$ 成立；给定 $X_4$（$X_3$ 的后代）后 V 结构被“激活”，不再独立。
- 第 2 题：$2^{10}-1=1023$；链：$1+9\times2=19$。
- 第 5 题：对 $x\ne x'$，$p(x)q(x'\mid x)\alpha(x',x)=\min\big(p(x)q(x'\mid x),\,p(x')q(x\mid x')\big)$，关于 $x,x'$ 对称。

## 延伸阅读

- 教材：邱锡鹏《神经网络与深度学习》第 11 章「概率图模型」。
- Koller D, Friedman N. Probabilistic Graphical Models: Principles and Techniques, MIT Press, 2009。
- Bishop C M. Pattern Recognition and Machine Learning, 第 8–9、11 章。
- 第二版对应章节：第 14 章「概率图模型」。