在单独页面中打开：Logistic 回归与决策边界
### 3.4 Softmax 回归 **Softmax 回归**是 Logistic 回归在多分类问题上的推广。[幻灯片 28](#slide-28) 对 $C$ 个类别，使用 **Softmax 函数**把 $C$ 个线性输出归一化为概率分布：[幻灯片 29](#slide-29) [幻灯片 30](#slide-30) $$ p(y=c\mid\boldsymbol x)=\mathrm{softmax}(\boldsymbol w_c^\top\boldsymbol x)=\frac{\exp(\boldsymbol w_c^\top\boldsymbol x)}{\sum_{c'=1}^{C}\exp(\boldsymbol w_{c'}^\top\boldsymbol x)} . $$ 向量形式为 $\hat{\boldsymbol y}=\mathrm{softmax}(\boldsymbol W^\top\boldsymbol x)$，其中 $\boldsymbol W=[\boldsymbol w_1,\cdots,\boldsymbol w_C]$。决策函数为 $\hat y=\arg\max_c\boldsymbol w_c^\top\boldsymbol x$。 用 one-hot 向量 $\boldsymbol y\in\{0,1\}^C$ 表示真实类别，采用交叉熵损失，风险函数为 [幻灯片 31](#slide-31) $$ \mathcal R(\boldsymbol W)=-\frac1N\sum_{n=1}^{N}\big(\boldsymbol y^{(n)}\big)^\top\log\hat{\boldsymbol y}^{(n)}, \qquad \frac{\partial\mathcal R(\boldsymbol W)}{\partial\boldsymbol W}=-\frac1N\sum_{n=1}^N\boldsymbol x^{(n)}\big(\boldsymbol y^{(n)}-\hat{\boldsymbol y}^{(n)}\big)^\top . $$ 梯度的形式与 Logistic 回归完全一致。总结：**模型**为 Softmax 回归，**学习准则**为交叉熵，**优化**用梯度下降。[幻灯片 32](#slide-32) 举个例子：三分类问题中真实类别为 $[0,0,1]$，模型预测的类别概率为 $[0.3,0.3,0.4]$，则交叉熵损失为 $-(0\cdot\log0.3+0\cdot\log0.3+1\cdot\log0.4)=-\log0.4\approx0.916$。可以看到交叉熵损失只关心真实类别上的预测概率。[幻灯片 33](#slide-33) 调节各类别的 logit 与温度，观察 softmax 概率、交叉熵损失以及梯度 $\boldsymbol p-\boldsymbol y$： > （此处为交互演示，请在网页中使用：https://deeplearning.bnuai.com/chapters/03-linear-models）在单独页面中打开：Softmax 与交叉熵
### 3.5 感知器 **感知器**（Perceptron）由 Rosenblatt 于 1958 年提出，是最早的神经网络模型之一。它模拟生物神经元：权重对应突触，偏置对应阈值，激活函数对应细胞体，输出为 $+1$ 或 $-1$：[幻灯片 37](#slide-37) $$ \hat y=\mathrm{sgn}(\boldsymbol w^\top\boldsymbol x). $$ 感知器的学习算法是一种**错误驱动**的在线学习算法：先初始化 $\boldsymbol w=\boldsymbol 0$，然后逐个处理样本，每当分错一个样本（即 $y\,\boldsymbol w^\top\boldsymbol x\le0$）时，就用这个样本更新权重：[幻灯片 39](#slide-39) $$ \boldsymbol w\leftarrow\boldsymbol w+y\,\boldsymbol x . $$ 这等价于对损失函数 $\mathcal L(\boldsymbol w;\boldsymbol x,y)=\max(0,-y\,\boldsymbol w^\top\boldsymbol x)$ 做随机梯度下降（学习率为 1）。与 Logistic 回归的更新 $\boldsymbol w\leftarrow\boldsymbol w+\alpha\,\boldsymbol x(y-\hat y)$ 相比，感知器只在分错时才更新，且更新量不依赖预测的置信度。[幻灯片 40](#slide-40) **收敛性**。设训练集是**线性可分**的：存在一个单位向量 $\boldsymbol w^*$（$\|\boldsymbol w^*\|=1$）和 $\gamma>0$，使得对所有样本 $y^{(n)}\boldsymbol w^{*\top}\boldsymbol x^{(n)}\ge\gamma$；并设 $R$ 是所有样本中最大的范数 $\|\boldsymbol x^{(n)}\|\le R$。那么感知器的权重更新次数 $K$ 满足 [幻灯片 41](#slide-41) $$ K\le\frac{R^2}{\gamma^2}. $$ 证明思路：设第 $K$ 次更新后的权重为 $\boldsymbol w_K=\sum_{k=1}^{K}y^{(k)}\boldsymbol x^{(k)}$（这里的 $(k)$ 指第 $k$ 个被分错的样本）。[幻灯片 42](#slide-42) - **上界**：$\|\boldsymbol w_K\|^2=\|\boldsymbol w_{K-1}\|^2+\|\boldsymbol x^{(K)}\|^2+2y^{(K)}\boldsymbol w_{K-1}^\top\boldsymbol x^{(K)}\le\|\boldsymbol w_{K-1}\|^2+R^2$（因为分错时最后一项 $\le0$），所以 $\|\boldsymbol w_K\|^2\le KR^2$； - **下界**：$\|\boldsymbol w_K\|=\|\boldsymbol w^*\|\|\boldsymbol w_K\|\ge\boldsymbol w^{*\top}\boldsymbol w_K=\sum_{k=1}^{K}y^{(k)}\boldsymbol w^{*\top}\boldsymbol x^{(k)}\ge K\gamma$。 两式联立得 $K^2\gamma^2\le\|\boldsymbol w_K\|^2\le KR^2$，即 $K\le R^2/\gamma^2$。这说明在线性可分时感知器一定会在有限步内收敛；但如果数据线性不可分，感知器不会收敛，而且即使可分，它找到的也只是众多可行超平面中的一个。 ### 3.6 支持向量机 **支持向量机**（SVM）寻找的是**间隔最大**的分割超平面。[幻灯片 43](#slide-43) 样本集到超平面的间隔定义为最近样本的距离 $\gamma=\min_n\dfrac{y^{(n)}(\boldsymbol w^\top\boldsymbol x^{(n)}+b)}{\|\boldsymbol w\|}$。通过缩放令最近样本满足 $y(\boldsymbol w^\top\boldsymbol x+b)=1$，最大化间隔就等价于 $$ \min_{\boldsymbol w,b}\ \frac12\|\boldsymbol w\|^2 \quad\text{s.t.}\quad y^{(n)}\big(\boldsymbol w^\top\boldsymbol x^{(n)}+b\big)\ge1,\ \forall n . $$ 满足 $y(\boldsymbol w^\top\boldsymbol x+b)=1$ 的样本称为**支持向量**，决策边界只由它们决定。这是一个凸二次规划问题，可以用拉格朗日乘数法转为对偶问题求解，并借助**核函数**处理非线性可分的数据。允许部分样本违反约束的**软间隔 SVM** 等价于最小化 $$ \sum_{n=1}^{N}\max\Big(0,\ 1-y^{(n)}\big(\boldsymbol w^\top\boldsymbol x^{(n)}+b\big)\Big)+\frac{\lambda}{2}\|\boldsymbol w\|^2 , $$ 其中第一项称为 **Hinge 损失**。 ### 3.7 线性分类模型小结 | 模型 | 激活 / 决策函数 | 损失函数 | 优化方法 | | --- | --- | --- | --- | | 线性回归 | — | $(y-\boldsymbol w^\top\boldsymbol x)^2$ | 最小二乘、梯度下降 | | Logistic 回归 | $\sigma(\boldsymbol w^\top\boldsymbol x)$ | $-y\log\sigma(\boldsymbol w^\top\boldsymbol x)-(1-y)\log(1-\sigma(\boldsymbol w^\top\boldsymbol x))$ | 梯度下降 | | Softmax 回归 | $\mathrm{softmax}(\boldsymbol W^\top\boldsymbol x)$ | $-\boldsymbol y^\top\log\mathrm{softmax}(\boldsymbol W^\top\boldsymbol x)$ | 梯度下降 | | 感知器 | $\mathrm{sgn}(\boldsymbol w^\top\boldsymbol x)$ | $\max(0,-y\boldsymbol w^\top\boldsymbol x)$ | 随机梯度下降 | | 支持向量机 | $\mathrm{sgn}(\boldsymbol w^\top\boldsymbol x)$ | $\max(0,1-y\boldsymbol w^\top\boldsymbol x)$ | 二次规划、SMO 等 | 把标签记为 $y\in\{+1,-1\}$，令 $z=y f(\boldsymbol x;\boldsymbol w)$（越大表示分得越对、越有把握），各损失函数都可以看作 $z$ 的函数：[幻灯片 46](#slide-46) - 0-1 损失：$I(z<0)$； - 平方损失：$(1-z)^2$——当 $z>1$ 时反而增大，不适合分类； - Logistic（交叉熵）损失：$\log(1+\exp(-z))$； - Hinge 损失：$\max(0,1-z)$； - 感知器损失：$\max(0,-z)$。 除平方损失外，它们都可以看作 0-1 损失的连续、凸的上界（代理损失）。 **XOR 问题**。所有线性模型的决策边界都是超平面，因此无法解决线性不可分问题，最经典的例子就是**异或**（XOR）：$(0,0)$、$(1,1)$ 为一类，$(0,1)$、$(1,0)$ 为另一类，平面上不存在一条直线把它们分开。[幻灯片 47](#slide-47) 解决方法是先对特征做非线性变换 $\phi(\boldsymbol x)$（例如加入 $x_1x_2$ 项），或者让模型自己学习特征变换——这就引出了下一章的**神经网络**。[幻灯片 48](#slide-48) ## 本章小结 - 线性分类模型 = 线性判别函数 + 决策函数；四种模型的主要区别是损失函数。 - Logistic / Softmax 回归输出概率，采用交叉熵损失，梯度形式统一为 $-\boldsymbol x(\boldsymbol y-\hat{\boldsymbol y})^\top$。 - 交叉熵 = 熵 + KL 散度；最小化交叉熵等价于最大似然估计。 - 感知器是错误驱动的在线算法，线性可分时更新次数不超过 $R^2/\gamma^2$；SVM 追求最大间隔，对应 Hinge 损失。 - 线性模型无法解决 XOR 等非线性可分问题，需要非线性特征变换或神经网络。 ## 思考题与习题 {#exercises}