这个博主写的很好：http://blog.csdn.net/on2way/article/details/47729419
一、学习步骤：
1、线性可分支持向量机：就是最基本的原始模式
2、线性支持向量机：在可分基础上加入了一个惩罚因子ξ
3、非线性支持向量机：在线性基础上再引入核函数
所以最重要的就是理解线性可分支持向量机的理论
二、支持向量原理
1、线性可分支持向量机
1、思想：我们让离超平面最近的点尽可能远离超平面，这个就是支持向量机的思想：
2、这里我们对w进行等比例缩放，使得
3、原来的目标函数就转化为：
带约束条件的求极值问题，转化为同理：
4、使用拉格朗日乘子法：
，这个时候我们的优化目标变成了
5、
6、对变化后的式子求导，得到w，b的值
，再将这个式子回带到原方程，化简之后得到
化简过程：
7、得到这个式子之后，我们的问题是
8、通过smo算法我们可以求得这个a*，再计算wb就可以了