支持向量机SVM原理二

上接支持向量机（SVM）原理（一）

2.4 软间隔与正则化

现实中很难找到一个合适的核函数将训练样本在特征空间中线性可分，某些情况下的线性可分可能是因为过拟合造成的。要解决该问题就需要允许一定的差错，在此就提及到‘’软间隔‘’。以下图示例展开：

图中红圈出现了一些不满足约束的错误样本，按照支持向量机的模型，将样本完全分为两类，那样的划分为‘’硬间隔‘’，此处的‘’软间隔‘’部分样本不满足
$$y_i({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b)⩾1\text{\hspace{1em}(22)}$$
但是我们需要做到不满足约束条件的样本尽可能少，优化目标函数可写为
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)\text{\hspace{1em}(23)}$$
其中 $C>0$ 是一个常数, ${\ell }_{0/1}$ 是 “ $0/1$ 损失函数”
$${\ell }_{0/1}(z)=\{\begin{array}{ll}1,& \text{ if }z<0\\ 0,& \text{ otherwise }\end{array}\text{\hspace{1em}(24)}$$
显然, 当 $C$ 为无穷大时, 式(23)迫使所有样本均满足约束(22), 于是式(23)等价于(1); 当 $C$ 取有阳值时, 式(23)允许一些样本不满足约束.
然而, ${\ell }_{0/1}$ 非凸、非连续, 数学侏质不太好, 使得式(23)不易直接求解. 于是, 人们通常用其他一些函数来代替 ${\ell }_{0/1}$, 称为 “替代损失” (surrogate loss). 替代损失函数一般具有较好的数学性质, 如它们通常是凸的连续函数且是 ${\ell }_{0/1}$ 的上界.三种常用的替代损失函数:

hinge 损失: ${\ell }_{\text{hinge }}(z)=\max (0,1-z)$;
指数损失(exponential loss): ${\ell }_{\exp }(z)=\exp (-z)$;
对率损失(logistic loss): ${\ell }_{\log }(z)=\log (1+\exp (-z))$.

若采用 hinge 损失, 则式 (23)变成
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\max \left(0,1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right).\text{\hspace{1em}(25)}$$
引入 “松弛变量” (slack variables) ${\xi }_i⩾0$, 可将式(25)重写为
$$\underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\text{\hspace{1em}(26)}$$
$$\begin{array}{llc}\text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i& {\xi }_i⩾0,i=1,2,\dots ,m.\end{array}\text{\hspace{1em}(27)}$$
这就是常用的 “软间隔支持向量机” 。
显然，式(26)中每个样本都有一个对应的松弛变量, 用以表征该样本不满足约束式 (22), 通过拉格朗日乘子法可得到式(26)的程度通过拉格朗日乘子法可得到式(26)的拉格朗日函数
$$\begin{array}{rl}L\left(\mathbf{w},b,{\mathbf{\alpha }}_{,}{\xi }_1\mathbf{\mu }\right)=& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i\left(1-{\xi }_i-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)-\sum _{i=1}^m{\mu }_i{\xi }_i\end{array}\text{\hspace{1em}(28)}$$
其中 ${\alpha }_i⩾0,{\mu }_i⩾0$ 是拉格朗日乘子.
令 $L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })$ 对 $\mathbf{w},b,{\xi }_i$ 的俏导为零可得
$$\begin{array}{rl}& w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i,\\ & 0=\sum _{i=1}^m{\alpha }_i{y}_i\\ & C={\alpha }_i+{\mu }_i\end{array}\text{\hspace{1em}(29)}$$

将式(29)代入式(28)即可得到式(26)的对偶问题
$$\begin{array}{ll}\underset{\alpha }{\max }& {\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\mathrm{T}}{x}_j\\ \text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0,0⩽{\alpha }_i⩽C,i=1,2,\dots ,m.\end{array}\text{\hspace{1em}(30)}$$
同理可得, 对软间隔支持向量机, KKT 条件要求
$$\{\begin{array}{l}{\alpha }_i⩾0,{\mu }_i⩾0,\\ y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i⩾0,\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i\right)=0,\\ {\xi }_i⩾0,{\mu }_i{\xi }_i=0.\end{array}\text{\hspace{1em}(31)}$$
于是, 对任意训练样本 $\left(x_i,y_i\right)$, 总有 ${\alpha }_i=0$ 或 $y_{i}f\left(x_i\right)=1-{\xi }_i$. 若 ${\alpha }_i=0$, 则 该样本不会对 $f(\mathbf{x})$ 有任何影响; 若 ${\alpha }_i>0$, 则必有 $y_{i}f\left({\mathbf{x}}_i\right)=1-{\xi }_i$, 即该样本 是支持向量: 由式 (6.39) 可知, 若 ${\alpha }_i<C$, 则 ${\mu }_i>0$, 进而有 ${\xi }_i=0$, 即该样本 恰在最大间隔边界上; 若 ${\alpha }_i=C$, 则有 ${\mu }_i=0$, 此时若 ${\xi }_i⩽1$ 则该样本落在最 大间隔内部, 若 ${\xi }_i>1$ 则该样本被错误分类. 由此可看出, 软间隔支持向量机的最终模型仅与支持向量有关, 即通过采用 hinge 损失函数仍保持了稀疏性.

能否对式(23)使用其他的替代损失函数呢?

可以发现, 如果使用对率损失函数 ${\ell }_{\log }$ 来替代式(23)中的 $0/1$ 损失函数, 则几乎就得到了对率回归模型. 实际上, 支持向量机与对率回归的优化目标相近, 通常情形下它们的性能也相当. 对率回归的优势主要在于其输出具 有自然的概率意义, 即在给出预测标记的同时也给出了概率, 而支持向量机的 输出不具有概率意义, 欲得到概率输出需进行特殊处理.

我们还可以把式(23)中的 $0/1$ 损失函数换成别的替代损失函数以得到 其他学习模型, 这些模型的性质与所用的替代函数直接相关, 但它们具有一 个共性: 优化目标中的第一项用来描述划分超平面的 “间隔” 大小, 另一项 ${\sum }_{i=1}^m\ell \left(f\left(x_i\right),y_i\right)$ 用来表述训练集上的误差, 可写为更一般的形式
$$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^m\ell \left(f\left(x_i\right),y_i\right)\text{\hspace{1em}(32)}$$
其中 $\Omega (f)$ 称为 “结构风险” (structural risk), 用于描述模型 $f$ 的某些性质; 第二项 ${\sum }_{i=1}^m\ell \left(f\left({\mathbf{x}}_i\right),y_i\right)$ 称为 “经验风险”, 用于描述模型与训练 数据的契合程度; $C$ 用于对二者进行折中. 从经验风险最小化的角度来看, $\Omega (f)$ 表述了我们希望获得具有何种性质的模型(例如希望获得复杂度较小的模型), 这为引入领域知识和用户意图提供了途径; 另一方面, 该信息有助于削减假设空间, 从而降低了最小化训练误差的过拟合风险. 从这个角度来说, 式 (32)称 为 “正则化” (regularization) 问题, $\Omega (f)$ 称为正则化项, $C$ 则称为正则化常数. ${\mathrm{L}}_p$ 范数 (norm) 是常用的正则化项, 其中 ${\mathrm{L}}_2$ 范数 $\Vert \mathbf{w}{\Vert }_2$ 倾向于 $\mathbf{w}$ 的分量取值 尽量均衡, 即非零分量个数尽量稠密, 而 ${\mathrm{L}}_0$ 范数 $\Vert \mathbf{w}{\Vert }_0$ 和 ${\mathrm{L}}_1$ 范数 $\Vert \mathbf{w}{\Vert }_1$ 则倾向 于 $\mathbf{w}$ 的分量尽量稀疏, 即非零分量个数尽量少.

2.5 支持向量回归

给定训练样本 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots\right. D={(x1​,y1​),(x2​,y2​),…, $\left(x_m,y_m\right)\},y_i\in \mathbb{R}$, 创建一个回归模型, 使得 $f(x)$ 与 $y$ 尽可能接近, $\mathbf{w}$ 和 $b$ 是待确定的模型参数.
对样本 $(x,y)$, 传统回归模型通常直接基于模型输出 $f(x)$ 与真实输出 $y$ 之 间的差别来计算损失, 当且仅当 $f(x)$ 与 $y$ 完全相同时, 损失才为零. 与此不同, 支持向量回归(Support Vector Regression, 简称 SVR)假设我们能容忍 $f(\mathbf{x})$ 与 $y$ 之间最多有 $ϵ$ 的偏差, 即仅当 $f(x)$ 与 $y$ 之间的差别绝对值大于 $ϵ$ 时才计算损失. 这相当于以 $f(x)$ 为中心, 构建了一个宽度为 $2ϵ$ 的间隔带, 若训练样本落入此间隔带, 则认为是被预测正确的.红色显示出 $ϵ$-何隙带, 落入其中的样本不计算损失.

于是, SVR 问题可形式化为
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{ϵ}\left(f\left({\mathbf{x}}_i\right)-y_i\right)\text{\hspace{1em}(33)}$$
其中 $C$ 为正则化常数, ${\ell }_{ϵ}$ 是 $ϵ$-不敏感损失函数.
$${\ell }_{ϵ}(z)=\{\begin{array}{ll}0,& \text{ if }|z|⩽ϵ\\ |z|-ϵ,& \text{ otherwise }\end{array}\text{\hspace{1em}(34)}$$

引入松弛变量 ${\xi }_i$ 和 ${\hat{\xi }}_i$, 可将式 (33)重写为
$$\underset{\mathbf{w},b,{\xi }_i,{\hat{\xi }}_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)\text{\hspace{1em}(35)}$$
$$\begin{array}{rl}& \text{s.t. }f\left(x_i\right)-y_i⩽ϵ+{\xi }_i\\ & y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i⩾0,{\hat{\xi }}_i⩾0,i=1,2,\dots ,m.\end{array}\text{\hspace{1em}(36)}$$
通过引入拉格朗日乘子 ${\mu }_i⩾0,{\hat{\mu }}_i⩾0,{\alpha }_i⩾0,{\hat{\alpha }}_i⩾0$, 由拉 格朗日乘子法可得到拉格朗日函数
$$\begin{array}{rl}& L(\mathbf{w},b,\mathbf{\alpha },\hat{\mathbf{\alpha }},\mathbf{\xi },\hat{\mathbf{\xi }},\mathbf{\mu },\hat{\mathbf{\mu }})\\ & =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)-\sum _{i=1}^m{\mu }_i{\xi }_i-\sum _{i=1}^m{\hat{\mu }}_i{\hat{\xi }}_i\\ & +\sum _{i=1}^m{\alpha }_i\left(f\left({\mathbf{x}}_i\right)-y_i-ϵ-{\xi }_i\right)+\sum _{i=1}^m{\hat{\alpha }}_i\left(y_i-f\left({\mathbf{x}}_i\right)-ϵ-{\hat{\xi }}_i\right).\end{array}\text{\hspace{1em}(37)}$$
将$f(x)={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$代入, 再令 $L(\mathbf{w},b,\mathbf{\alpha },\hat{\mathbf{\alpha }},\mathbf{\xi },\hat{\mathbf{\xi }},\mathbf{\mu },\hat{\mathbf{\mu }})$ 对 $\mathbf{w},b,{\xi }_{\mathrm{i}}$ 和 ${\hat{\xi }}_i$ 的偏导为零可得
$$\begin{array}{rl}& w=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i,\\ & 0=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right),\\ & C={\alpha }_i+{\mu }_i,\\ & C={\hat{\alpha }}_i+{\hat{\mu }}_i.\end{array}\text{\hspace{1em}(38)}$$
将式(38)代入式(37), 即可得到 SVR的对偶问题
$$\begin{array}{ll}\underset{\alpha ,\hat{\alpha }}{\max }& {\sum }_{i=1}^m{y}_i\left({\hat{\alpha }}_i-{\alpha }_i\right)-ϵ\left({\hat{\alpha }}_i+{\alpha }_i\right)\\ & -\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\left({\hat{\alpha }}_j-{\alpha }_j\right)x_i^{\mathrm{T}}{\mathbf{x}}_j\\ \text{ s.t. }& {\sum }_{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)=0,0⩽{\alpha }_i,{\hat{\alpha }}_i⩽C.\end{array}\text{\hspace{1em}(39)}$$
上述过程中需满足 KKT 条件, 即要求
$$\{\begin{array}{l}{\alpha }_i\left(f\left(x_i\right)-y_i-ϵ-{\xi }_i\right)=0,\\ {\hat{\alpha }}_i\left(y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i\right)=0,\\ {\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0,\\ \left(C-{\alpha }_i\right){\xi }_i=0,\left(C-{\hat{\alpha }}_i\right){\hat{\xi }}_i=0.\end{array}\text{\hspace{1em}(40)}$$
可以看出, 当且仅当 $f\left(x_i\right)-y_i-ϵ-{\xi }_i=0$ 时 ${\alpha }_i$ 能取非零值, 当且仅当 $y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i=0$ 时 ${\hat{\alpha }}_i$ 能取非零值. 换言之, 仅当样本 $\left(x_i,y_i\right)$ 不落入 $ϵ-$ 间 隔带中, 相应的 ${\alpha }_i$ 和 ${\hat{\alpha }}_i$ 才能取非零值. 此外, 约束 $f\left(x_i\right)-y_i-ϵ-{\xi }_i=0$ 和 $y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i=0$ 不能同时成立, 因此 ${\alpha }_i$ 和 ${\hat{\alpha }}_i$ 中至少有一个为零.
将式 $w={\sum }_{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i$ 代入$f(x)={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$, 则 SVR 的解形如
$$f(x)=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right){\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b.\text{\hspace{1em}(41)}$$
能使式 (41)中的 $\left({\hat{\alpha }}_i-{\alpha }_i\right)\ne 0$ 的样本即为 SVR 的支持向量, 它们必落在 $ϵ$-间隔带之外. 显然, SVR 的支持向量仅是训练样本的一部分, 即基解仍具有稀疏性.
由 KKT 条件 (40) 可看出, 对每个样本 $\left(x_i,y_i\right)$ 都有 $\left(C-{\alpha }_i\right){\xi }_i=0$ 且. ${\alpha }_i\left(f\left({\mathbf{x}}_i\right)-y_i-ϵ-{\xi }_i\right)=0$. 于是, 在得到 ${\alpha }_i$ 后, 若 $0<{\alpha }_i<C$, 则必有 ${\xi }_i=0$, 进而有
$$b=y_i+ϵ-\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i^{\mathrm{T}}x.\text{\hspace{1em}(42)}$$
因此, 在求解式(39)得到 ${\alpha }_i$ 后, 理论上来说, 可任意选取满足 $0<{\alpha }_i<C$ 的样本通过式 (42)求得 $b$. 实践中常采用一种更鲁桻的办法: 选取多个(或所有)㳾 足条件 $0<{\alpha }_i<C$ 的样本求解 $b$ 后取平均值.
若考虑特征映射形式, 则相应的$w={\sum }_{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i$将形如
$$\mathbf{w}=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\varphi \left(x_i\right)\text{\hspace{1em}(43)}$$
将式(43)代入$f(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b$, 则 SVR 可表示为
$$f(\mathbf{x})=\sum _{i=1}^m\left({\hat{\alpha }}_i-{\alpha }_i\right)\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b\text{\hspace{1em}(44)}$$
其中 $\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$ 为核函数.

2.6 核方法

给定训练样本 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … \left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots\right. {(x1​,y1​),(x2​,y2​),…, $\left(x_m,y_m\right)\}$, 若不考虑偏移项 $b$, 则无论 SVM 还是 SVR, 学得的模型总能表示成核函数 $\kappa \left(x,x_i\right)$ 的线性组合. 不仅如此, 事实上我们有下面这个称为 “表示定理” 。

表示定理：令 $\mathbb{H}$ 为核函数 $\kappa$ 对应的再生核希尔伯特空间, $\Vert h{\Vert }_{\mathbb{H}}$ 表示 $\mathbb{H}$ 空间中关于 $h$ 的范数, 对于任意单调递增函数 $\Omega :[0,\infty ]\mapsto \mathbb{R}$ 和任意非 负损失函数 $\ell :{\mathbb{R}}^m\mapsto [0,\infty ]$, 优化问题
$$\underset{h\in \mathrm{H}}{\min }F(h)=\Omega \left(\Vert h{\Vert }_{\mathrm{H}}\right)+\ell \left(h\left({\mathbf{x}}_1\right),h\left({\mathbf{x}}_2\right),\dots ,h\left({\mathbf{x}}_m\right)\right)\text{\hspace{1em}(45)}$$
的解总可写为
$$h^{\ast }(x)=\sum _{i=1}^m{\alpha }_i\kappa \left(x,x_i\right).\text{\hspace{1em}(46)}$$
表示定理对损失函数没有限制, 对正则化项 $\Omega$ 仅要求单调递增, 甚至不要求 $\Omega$ 是凸函数, 意味着对于一般的损失函数和正则化项, 优化问题(45)的最优解 $h^{\ast }(\mathbf{x})$ 都可表示为核函数 $\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)$ 的线性组合; 这显示出核函数的巨大威力.
人们发展出一系列基于核函数的学习方法, 统称为 “核方法” (kernel methods). 最常见的, 是通过 “核化” (即引入核函数)来将线性学习器拓展为 非线性学习器. 下面我们以线性判别分析为例来演示如何通过核化来对其进 行非线性拓展, 从而得到 “核线性判别分析” (Kernelized Linear Discriminant Analysis, 简称 KLDA).
我们先假设可通过某种映射 $\varphi :\mathcal{X}\mapsto \mathbb{F}$ 将样本映射到一个特征空间 $\mathbb{F}$, 然 后在 $\mathbb{F}$ 中执行线性判别分析, 以求得
$$h(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x}).\text{\hspace{1em}(47)}$$
KLDA 的学习目标是
$$\underset{w}{\max }J(\mathbf{w})=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b^{\varphi }\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w^{\varphi }w}\text{\hspace{1em}(48)}$$
其中 ${\mathbf{S}}_b^{\varphi }$ 和 ${\mathbf{S}}_w^{\varphi }$ 分别为训练样本在特征空问 $\mathrm{F}$ 中的类间散度矩阵和类内敝 度矩阵. 令 $X_i$ 表示第 i ∈ { 0 , 1 } i \in\{0,1\} i∈{0,1} 类样本的集合, 其样本数为 $m_i$; 总样本数 $m=m_0+m_1$. 第 $i$ 类样本在特征空间 $\mathbb{F}$ 中的均值为
$${\mathbf{\mu }}_i^{\varphi }=\frac{1}{m_i}\sum _{x\in X_i}\varphi (x),\text{\hspace{1em}(49)}$$
两个散度矩阵分别为
$$\begin{array}{rl}& {\mathbf{S}}_b^{\varphi }=\left({\mathbf{\mu }}_1^{\varphi }-{\mathbf{\mu }}_0^{\varphi }\right){\left({\mathbf{\mu }}_1^{\varphi }-{\mathbf{\mu }}_0^{\varphi }\right)}^{\mathrm{T}};\\ & {\mathbf{S}}_w^{\varphi }=\sum _{i=0}^1\sum _{x\in X_i}\left(\varphi (\mathbf{x})-{\mathbf{\mu }}_i^{\varphi }\right){\left(\varphi (\mathbf{x})-{\mathbf{\mu }}_i^{\varphi }\right)}^{\mathrm{T}}.\end{array}\text{\hspace{1em}(50)}$$
通常我们难以知道映射 $\varphi$ 的具体形式, 因此使用核函数 $\kappa \left(x,x_i\right)=$ $\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})$ 来隐式地表达这个映射和特征空间 $F$. 把 $J(\mathbf{w})$ 作为式 (45)中 的损失函数 $\ell$, 再令 $\Omega \equiv 0$, 由表示定理, 函数 $h(x)$ 可写为
$$h(\mathbf{x})=\sum _{i=1}^m{\alpha }_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right),\text{\hspace{1em}(51)}$$
于是由式(47)可得
$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i\varphi \left({\mathbf{x}}_i\right).\text{\hspace{1em}(52)}$$
令 $\mathbf{K}\in {\mathbb{R}}^{m\times m}$ 为核函数 $\kappa$ 所对应的核矩阵, $(\mathbf{K}{)}_{ij}=\kappa \left(x_i,x_j\right)$. 令 $1_i\in$ { 1 , 0 } m × 1 \{1,0\}^{m \times 1} {1,0}m×1 为第 $i$ 类样本的指示向量, 即 $1_i$ 的第 $j$ 个分量为 1 当且仅当 $x_j\in X_i$, 否则 $1_i$ 的第 $j$ 个分量为 0 . 再令
$$\begin{array}{rl}& {\hat{\mu }}_0=\frac{1}{m_0}\mathbf{K}{1}_0\\ & {\hat{\mu }}_1=\frac{1}{m_1}\mathbf{K}{1}_1\\ & \mathbf{M}=\left({\hat{\mathbf{\mu }}}_0-{\hat{\mu }}_1\right){\left({\hat{\mu }}_0-{\hat{\mu }}_1\right)}^{\mathbf{T}}\\ & \mathbf{N}={\mathbf{KK}}^{\mathrm{T}}-\sum _{i=0}^1{m}_i{\hat{\mathbf{\mu }}}_i{\hat{\mathbf{\mu }}}_i^{\mathrm{T}}\end{array}\text{\hspace{1em}(53)}$$
于是, 式(48)等价为
$$\underset{\alpha }{\max }J(\mathbf{\alpha })=\frac{{\mathbf{\alpha }}^{\mathrm{T}}\mathbf{M}\alpha }{{\mathbf{\alpha }}^{\mathrm{T}}\mathbf{N}\alpha }$$
显然, 使用线性判别分析求解方法即可得到 $\mathbf{\alpha }$, 进而可由式(51)得到投影 函数 $h(\mathbf{x})$.

原理部分结束，后续见python实现篇章