虽然已经学习了神经网络和深度学习并在几个项目之中加以运用了，但在斯坦福公开课上听吴恩达老师说他(在当时)更喜欢使用SVM，而很少使用神经网络来解决问题，因此来学习一下SVM的种种。
先解释一些概念吧：
矩阵二范数：
||w|| = sqrt(w'w)
跟室友探讨了一下，觉得对于n维列向量来说，二范数的意义是它到零点的距离。
支持向量机——即最优间隔分类器：
最优间隔分类器的最终目标就是让边界与数据点之间的间隔(距离)最大，间隔的标度有两种：
1. 函数间隔 γ^(i) = y(i) * (w'x + b) , γ^ = min(γ^(i))
2. 几何间隔 γ (i) = y(i) * (w'x/||w|| + b/||w||) , γ = min(γ (i))
如果给定限定条件||w|| == 1，则两种间隔等价。
对于m个样本计算出的m个单点间隔，取最小值做为间隔，即使间隔的最小值最大。
但是， 这样的描述并不能将问题转换为一个凸问题，不好优化求解，因此转换：
固定γ^ = 1,即要求满足 y(i) * (w'x + b) == 1 且同时使得 ||w|| 的值最小的问题，像不像线性规划？
将问题转化之后，我们便可以使用拉格朗日乘子法来求解这类带约束的规划问题。(细节略去)
以上的方法是针对可以线性分成两类的数据来说的，但如果数据不能完美的分成两类，或是无法采用线性方式来分割改怎么办呢？
这就要引入卷积核Kernel的概念。
卷积核：K(x, z) = <Φ(x), Φ(z)> , 将<x, z>转换为<Φ(x), Φ(z)>，其中Φ(x)式x向量在高维的投影 对应的函数。
简单来说，通过引入卷积核，将线性SVM中的内积运算( <x, z> )全都替换成 K(x, z) 的卷积核运算( <Φ(x), Φ(z)> )，便可以将向量投影到更高维度，类似于把空间扭曲、折叠，这样，在高维度中，便能够找到线性的分类方法了。
常用的卷积核：
高斯核 K(x, z) = -||x-z||^2 / (2σ^2) 维度：无限维
多项式核 K(x, z) = (x'z + c) ^ d 维度：C(N+d, d)
等等。
在对SVM做了以上改进之后，我们便要回归本源——如何求解那个类似线性规划的问题？
使用已知条件以及KKT条件等，我们可以采用坐标上升法的变种， SMO，来更快速的求得最后解——每次固定n-2个参数，只调整其中两个，发现是一个二次函数，直接使用求根公式即可，经过多次迭代，所有参数都会接近极值。在此问题中，这种方法比梯度下降法或是牛顿法来的更快。
软间隔SVM：减少特殊坏点对于分类结果的影响