支持向量机SVM原理一

理论部分来源于机器学习西瓜书-周志华，此文供学习参考使用。

一、SVM概念

支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

二、SVM原理

2.1 间隔与支持向量

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } , y i ∈ { − 1 , + 1 } D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{m}, y_{m}\right)\right\}, y_{i} \in\{-1,+1\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)},yi​∈{−1,+1}, 分类学习最基本的想法就是基于训练集 $D$ 在样本空间中找到一个划分超平面, 将不同类别的样本分开. 但能将训练样本分开的划分超平面可能有很多, 如图所示, 我们应该努力去找到哪一个呢?

直观上看, 应该去找位于两类训练样本 “正中间” 的划分超平面，因为该划分超平面对训练样本局部扰动的 “容忍” 性最好。

在样本空间中, 划分超平面可通过如下线性方程来描述:
$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0,$$其中 $\mathbf{w}=\left(w_1;w_2;\dots ;w_d\right)$ 为法向量, 决定了超平面的方向; $b$ 为位移项, 决定 了超平面与原点之间的距离. 显然, 划分超平面可被法向量 $\mathbf{w}$ 和位移 $b$ 确定。
下面我们将其记为 $(\mathbf{w},b)$. 样本空间中任意点 $\mathbf{x}$ 到超平面 $(\mathbf{w},b)$ 的距离可写为
$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }.$$

点到平面的距离公式
$$d=\frac{\left|A{x}_0+B{y}_0+C{z}_0+D\right|}{\sqrt{A^2+B^2+C^2}}$$
公式描述: 公式中的平面方程为 $Ax+By+Cz+D=0$，$(A,B,C)$为平面法向量，点 $P$ 的坐标 $(x_0,y_0,z_0)，d$ 为 点 $P$ 到平面的距离。

假设超平面 $(w,b)$ 能将训练样本正确分类，使得数据集的正实例点和负实例点完全正确的划分到平面两侧，建立模型为：
$$f(x)=sign({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b)$$
即对于 $\left(x_i,y_i\right)\in D$, 若 ${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b>0$,则有$y_i=$ $+1$ ; 若${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b<0$,则$y_i=-1$
$$y_i=\{\begin{array}{l}1，{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b>0\\ -1，{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b<0\end{array}$$

不妨令
$$\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩾+1,& y_i=+1\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩽-1,& y_i=-1\end{array}$$
如下图所示, 距离超平面最近的这几个训练样本点使上式的等号成立, 它们被称为 “支持向量” (support vector), 两个异类支持向量到超平面的距离之和为
$$\gamma =\frac{2}{\Vert w\Vert }$$
它被称为 “间隔” (margin)

欲找到具有 “最大间隔” (maximum margin)的划分超平面, 也就是要找到能满足约束的参数 $\mathbf{w}$ 和 $b$, 使得 $\gamma$ 最大, 即
$$\begin{gathered} \underset{\mathbf{w},b}{\max }\frac{2}{\Vert \mathbf{w}\Vert } \\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m \end{gathered}$$

间隔貌似只与$\mathbf{w}$有关，实际上$b$通过约束条件对$\mathbf{w}$取值有影响。

显然, 为了最大化间隔, 等价于最小化 $\Vert \mathbf{w}{\Vert }^2$. 于是可重写为
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ & \text{s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}$$
这就是支持向量机的基本型，是一个含有不等式约束的凸二次规划问题，可以对其使用拉格朗日乘子法得到其对偶问题（dual problem）。

2.2 对偶问题

对式(1)使用拉格朗日乘子法可得到其 “对偶问题” (dual problem). 具体来说, 对式 (1) 的每条约束添加拉格朗日乘子 ${\alpha }_i⩾0$, 则该问题的拉格朗日函数可写为
$$\begin{array}{r}L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)\end{array}$$
其中$\mathbf{\alpha }=\left({\alpha }_1;{\alpha }_2;\dots ;{\alpha }_m\right)$. 令 $L(\mathbf{w},b,\mathbf{\alpha })$ 对 $\mathbf{w}$ 和 $b$ 的偏导为零可得
$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
将式(4)代入 (3), 即可将 $L(\mathbf{w},b,\mathbf{\alpha })$ 中的 $\mathbf{w}$ 和 $b$ 消去, 再考虑式 (5)的约束, 就得到式 (1) 的对偶问题
$$\begin{array}{rl}& \underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\\ & \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0{\alpha }_i⩾0,i=1,2,\dots ,m.\end{array}$$
解出 $\alpha$ 后, 求出 $\mathbf{w}$ 与 $b$ 即可得到模型
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b\end{array}\text{\hspace{1em}(8)}$$
从对偶问题(6)解出的 ${\alpha }_i$ 是式(3)中的拉格朗日乘子, 它恰对应着训练样本 $\left({\mathbf{x}}_i,y_i\right)$. 注意到式 (1) 中有不等式约束, 因此上述过程需满足 $\mathrm{KKT}$ (Karush-Kuhn-Tucker) 条件, 即要求
$$\{\begin{array}{l}{\alpha }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1⩾0;\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}\text{\hspace{1em}(9)}$$
于是; 对任意训练样本 $\left({\mathbf{x}}_i,y_i\right)$, 总有 ${\alpha }_i=0$ 或 $y_{i}f\left({\mathbf{x}}_i\right)=1$. 若 ${\alpha }_i=0$, 则该样本将不会在式 (8) 的求和中出现, 也就不会对 $f(x)$ 有任何影响; 若 ${\alpha }_i>0$, 则必有 $y_{i}f\left({\mathbf{x}}_i\right)=1$, 所对应的样本点位于最大间隔边界上, 是一个支持向量. 这显示出支持向量机的一个重要性质：训练完成后, 大部分的训练样本都不需保留, 最终模型仅与支持向量有关.

针对式(6)的求解采用$SMO$算法，基本思路是先固定 ${\alpha }_i$ 之外的所有参数, 然后求 ${\alpha }_i$ 上的极值. 由于存在约束 ${\sum }_{i=1}^m{\alpha }_i{y}_i=0$, 若固定 ${\alpha }_i$ 之外的其他变量, 则 ${\alpha }_i$ 可由其他变量导出. 于是, $SMO$ 每次选择两个变量 ${\alpha }_i$ 和 ${\alpha }_j$, 并固定其他参数. 这样, 在参数初始化后, $SMO$不断执行如下两个步骤直至收敛：

• 选取一对需更新的变量 ${\alpha }_i$ 和 ${\alpha }_j$;
• 固定 ${\alpha }_i$ 和 ${\alpha }_j$ 以外的参数, 求解式(6)获得更新后的 ${\alpha }_i$ 和 ${\alpha }_j$.
  注意到只需选取的 ${\alpha }_i$ 和 ${\alpha }_j$ 中有一个不满足 $\mathrm{KKT}$ 条件(9), 目标函数就会在迭代后减小. 直观来看, KKT 条件违背的程度越大, 则变量更新后可能导致的目标函数值减幅越大. 于是, $SMO$ 先选取违背 KKT 条件程度最大的变量. 第二个变量应选择一个使目标函数值减小最快的变量, 但由于比较各变量所对应的目标函数值减幅的复杂度过高, 因此 $SMO$ 采用了一 个启发式: 使选取的两变量所对应样本之间的间隔最大. 一种直观的解释是, 这样的两个变量有很大的差别, 与对两个相似的变量进行更新相比, 对它们进行 更新会带给目标函数值更大的变化.

$SMO$ 算法之所以高效, 恰由于在固定其他参数后, 仅优化两个参数的过程 能做到非常高效. 具体来说, 仅考虑 ${\alpha }_i$ 和 ${\alpha }_j$ 时, 式(6)中的约束可重写为
$$\begin{array}{c}{\alpha }_i{y}_i+{\alpha }_j{y}_j=c,{\alpha }_i⩾0,{\alpha }_j⩾0\end{array}\text{\hspace{1em}(10)}$$
其中
$$\begin{array}{c}c=-\sum _{k\ne i,j}{\alpha }_k{y}_k\end{array}\text{\hspace{1em}(11)}$$
是使 ${\sum }_{i=1}^m{\alpha }_i{y}_i=0$ 成立的常数. 用
$$\begin{array}{c}{\alpha }_i{y}_i+{\alpha }_j{y}_j=c\end{array}\text{\hspace{1em}(12)}$$
消去式(6)中的变量 ${\alpha }_j$, 则得到一个关于 ${\alpha }_i$ 的单变量二次规划问题, 仅有的 约束是 ${\alpha }_i⩾0$. 不难发现, 这样的二次规划问题具有闭式解, 于是不必调用数值 优化算法即可高效地计算出更新后的 ${\alpha }_i$ 和 ${\alpha }_j$.
如何确定偏移项 $b$ 呢? 注意到对任意支持向量 $\left({\mathbf{x}}_s,y_s\right)$ 都有 $y_{s}f\left({\mathbf{x}}_s\right)=1$, 即
$$\begin{array}{c}{y}_s\left(\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s+b\right)=1\end{array}\text{\hspace{1em}(13)}$$
其中 S = { i ∣ α i > 0 , i = 1 , 2 , … , m } S=\left\{i \mid \alpha_{i}>0, i=1,2, \ldots, m\right\} S={i∣αi​>0,i=1,2,…,m} 为所有支持向量的下标集. 理论上, 可选取任意支持向量并通过求解式 (13)获得 $b$, 但现实任务中常采用一种更鲁棒的做法: 使用所有支持向量求解的平均值
$$\begin{array}{c}b=\frac{1}{|S|}\sum _{s\in S}\left(y_s-\sum _{i\in S}{\alpha }_i{y}_i{x}_i^{\mathrm{T}}{x}_s\right)\end{array}\text{\hspace{1em}(14)}$$

2.3 核函数

核函数：令 $\mathcal{X}$ 为输入空间, $\kappa (\cdot ,\cdot )$ 是定义在 $\mathcal{X}\times \mathcal{X}$ 上的对称 函数, 则 $\kappa$ 是核函数当且仅当对于任意数据 D = { x 1 , x 2 , … , x m } D=\left\{x_{1}, x_{2}, \ldots, x_{m}\right\} D={x1​,x2​,…,xm​}, “核矩阵” (kernel matrix) $\mathbf{K}$ 总是半正定的:
$$\mathbf{K}=\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_m\right)\end{array}\right].$$
只要一个对称函数所对应的核矩阵半正定, 它就能作为核函数使用. 事实上, 对于一个半正定核矩阵, 总能找到一个与之对应的映射 $\varphi$. 换言之, 任何一个核函数都隐式地定义了一个称为 “再生核希尔伯特空间” (Reproducing Kernel Hilbert Space, 简称 RKHS)的特征空间.

我们希望样本在特征空间内线性可分, 因此特征空间的好坏对支持向量机的性能至关重要. 需注意的是, 在不知道特征映射的形式时, 我们并不知道什么样的核函数是合适的, 而核函数也仅是隐式地定义了这个特征空间. 于是, “核函数选择” 成为支持向量机的最大变数. 若核函数选择不合适, 则意味着将样本映射到了一个不合适的特征空间, 很可能导致性能不佳.

常用核函数如下表所示：
$$\begin{array}{rl}& \begin{array}{lll}\text{ 名称 }& \text{ 表达式 }& \text{ 参数 }\\ \text{ 线性核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j& \\ \text{ 多项式核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\left({\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\right)}^d& d⩾1\text{ 为多项式的次数 }\\ \text{ 高斯核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }^2}{2{\sigma }^2}\right)& \sigma >0\text{ 为高斯核的带宽 (width) }\\ \text{ 拉普拉斯核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }{\sigma }\right)& \sigma >0\\ \text{ Sigmoid 核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\tanh \left(\beta {\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j+\theta \right)& \tanh \text{ 为双曲正切函数, }\beta >0,\theta <0\end{array}\end{array}$$
此外, 还可通过函数组合得到, 例如:

• 若 ${\kappa }_1$ 和 ${\kappa }_2$ 为核函数, 则对于任意正数 ${\gamma }_1、{\gamma }_2$, 其线性组合
  $${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$
  也是核函数;
• 若 ${\kappa }_1$ 和 ${\kappa }_2$ 为核函数, 则核函数的直积
  $${\kappa }_1\otimes {\kappa }_2(\mathbf{x},\mathbf{z})={\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$$
  也是核函数;
• 若 ${\kappa }_1$ 为核函数, 则对于任意函数 $g(\mathbf{x})$,
  $$\kappa (\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1(\mathbf{x},\mathbf{z})g(\mathbf{z})$$
  也是核函数.

当原始样本空间不存在划分两类样本的超平面，如下图所示：

对这样的问题, 可将样本从原始空间映射到一个更高维的特征空间, 使得样本在这个特征空间内线性可分. 将原始的二维空间映射 到一个合适的三维空间, 就能找到一个合适的划分超平面. 如果原始空间是有限维, 即属性数有限, 那么一定存在一个高维特征空间使样本可分.
令 $\varphi (x)$ 表示将 $\mathbf{x}$ 映射后的特征向量, 于是, 在特征空间中划分超平面所对 应的模型可表示为
$$\begin{array}{r}f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b\end{array}\text{\hspace{1em}(15)}$$
其中 $\mathbf{w}$ 和 $b$ 是模型参数. 类似式 (15), 有
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ & \text{s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}\varphi \left({\mathbf{x}}_i\right)+b\right)⩾1,i=1,2,\dots ,m\end{array}\text{\hspace{1em}(16)}$$.
其对偶问题是
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)\text{\hspace{1em}(17)}$$
$$\begin{array}{llc}\text{s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0,& {\alpha }_i⩾0,i=1,2,\dots ,m.\end{array}\text{\hspace{1em}(18)}$$
求解式 (17) 涉及到计算 $\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$, 这是样本 ${\mathbf{x}}_i$ 与 ${\mathbf{x}}_j$ 映射到特征空间 之后的内积. 由于特征空间维数可能很高, 甚至可能是无穷维, 因此直接计算 $\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$ 通常是困难的. 为了避开这个障碍, 可以设想这样一个函数:
$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)\text{\hspace{1em}(19)}$$
即 ${\mathbf{x}}_i$ 与 ${\mathbf{x}}_j$ 在特征空间的内积等于它们在原始样本空间中通过函数 $\kappa (\cdot ,\cdot )$ 计算 的结果. 有了这样的函数, 我们就不必直接去计算高维甚至无穷维特征空间中 的内积, 于是式 (17) 可重写为
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ \text{ s.t. }& \sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i⩾0,i=1,2,\dots ,m\end{array}\text{\hspace{1em}(20)}$$
求解后即可得到
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b.\end{array}\text{\hspace{1em}(21)}$$
这里的函数 $\kappa (\cdot ,\cdot )$ 就是 “核函数” (kernel function). 式(7) 显示出模型最优解可通过训练样本的核函数展开, 这一展式亦称 “支持向量展式”.

由于篇幅限制，后续内容链接: 支持向量机原理（二）