1、问题介绍
本文只涉及二分类支持向量机。
支持向量机问题可以分为三种情况来讨论：
1、硬间隔支持向量机：用于可以被一个超平面严格分开的问题中，又称为线性可分支持向量机
2、软间隔支持向量机：用于可以被一个超平面非严格分开的问题中，又称线性支持向量机
3、核支持向量机：用于可以被一个超曲面分开的问题中，又称非线性支持向量机
本文主要介绍硬间隔支持向量机。
所谓“可以被一个超平面严格分开”，以三维空间数据为例，就是如下图情况：
即可以找到一个分离超平面，将正负数据点分开。
假设我们有数据D={(x1,y1),(x2,y2),...,(xn,yn)},则x代表空间中的数据点，y代表该点的标签，它有两个取值，+1和-1。
我们要做的事就是找到一个如下分离超平面$$yleft( x
ight) =omega ^{T}phi left( x
ight) +b$$这个分离超平面有如下两个特点：
1、它可以将所有的正负例点分开
2、在满足1的基础上，令所有点中，距离它距离最小的点的距离最大。
简单概括，就是找到一个分离超平面，使点到面的“最小距离最大化”。
我们的目标就是找到这个超平面的(omega)和(b)。
2、目标函数分析
根据“最小距离最大化的”目标函数思想，可以写出支持向量机的目标函数如下式1：$$max left{ min {i}left[ dfrac {y{i}left( w^{T}phi left( x
ight) +b
ight) }{left| w
ight| }
ight]
ight} $$我们想要求的参数(w)与(b)可表述如下：$$
w,b=argmax_{w,b} left{ min {i}left[ dfrac {y{i}left( w^{T}phi left( x
ight) +b
ight) }{left| w
ight| }
ight]
ight} $$
对于目标函数，即公式1，我们总可以认为$$min {i}y{i}left( w^{T}phi left( x
ight) +b
ight) =1$$因此目标问题转化为：
求(w)和(b),目标函数为 $$ max {w,b}dfrac {1}{left| w
ight| }$$进行整理，最终成为如下约束最优化问题$$min {w,b}dfrac {1}{2}left| w
ight| ^{2}$$ $$s.t. quad y{i}left( w^{T}phi left( x
ight) +b
ight) geq1$$
对线性可分支持向量机而言，有(phi left( x_{i}
ight) =x_{i})
以下要用到约束最优化求解的知识。
根据拉格朗日乘子法，可写出该规划问题的拉格朗日表达式：$$Lleft( w,b,alpha
ight) =dfrac {1}{2}left| w
ight| ^{2}-sum ^{n}{i=1}alpha {i}left( y{i}left( w^{T}phi left( x_{i}
ight) +b
ight) -1
ight) $$,其中$$a_{i}geq0$$
因此有
1、原问题：求$$min _{w,b}dfrac {1}{2}left| w
ight| ^{2}$$ （(s.t. quad y_{i}left( w^{T}phi left( x
ight) +b
ight) geq1)）
2、转化为求$$min _{w,b}max _{alpha }Lleft( omega ,b,alpha
ight) $$
3、根据拉格朗日对偶性，极小极大问题可以转化为极大极小问题。即转化为求公式2$$max _{alpha }min _{W,b}Lleft( omega ,b,alpha
ight)$$
我们进行了一个如下过程的转换。（本文中(W)和(w)和(omega)都表示一个东西，手写软件不太给力）
我们根据(Lleft( omega ,b,alpha ight))写出方程式(dfrac {partial L}{partial omega }=0)和(dfrac {partial L}{partial b }=0),可求出(omega)和(b)关于(alpha)的表达式，回代到公式2，可以整理成为如下约束规划问题。$$min {alpha }dfrac {1}{2}sum ^{n}{i=1}sum ^{n}{j=1}alpha {i}alpha {j}y{i}y{j}left( phi left( x{i} ight) phi left( x_{j} ight) ight) -sum ^{n}_{i=1}alpha _{i}$$
求出最优的(alpha)，就可以求出(omega)和(b)
3、线性支持向量机
对于不能被严格分开的正负样本点，我们只能期望找到一个分离超平面，尽可能地把它分开。如下图
可见，有些点是分错的，但我们允许这种错误。这种模型就是线性支持向量机，也称为软间隔支持向量机。仿照硬间隔支持向量机的格式，我们同样可以整理得到约束最优化问题如下：$$min {w,b,xi}dfrac {1}{2}left| w
ight| ^{2}+Csum ^{n}{i=1}xi $$ $$s.t. quad y_{i}left( w^{T}phi left( x
ight) +b
ight) geq1-xi_{i}quadxi_{i}geq0$$
同理可整理出来拉格朗日形式的约束最优化问题如下：$$min {alpha }dfrac {1}{2}sum ^{n}{i=1}sum ^{n}{j=1}alpha {i}alpha {j}y{i}y{j}left( phi left( x{i}
ight) phi left( x_{j}
ight)
ight) -sum ^{n}_{i=1}alpha _{i}$$
对线性支持向量机而言，有(phi left( x_{i} ight) =x_{i})
两个小tips
1、这个C的调参数：
a.调小 过渡带变宽，可以防止过拟合
b.调大 过渡带变窄，可以提高精度
2、损失函数
对于分错的点，有一个损失(xi)(见上图),对于支持向量机来说，其损失函数为$$xi=xi_{1}+xi_{2}+...+xi_{n}$$该损失函数又称为“合页损失函数”。
4、核支持向量机
以上两种模型的优化函数中，都有(phi left( x_{i}
ight) =x_{I})，在核支持向量机中，有所不同。核支持向量机有不同的核，常用的是高斯核。核支持向量机和线性支持向量机的关系如下图：
在高斯核中，有