核技巧
对于线性可分问题，我们使用感知机、逻辑回归、支持向量机等等算法都可以解决文图，但是对于非线性问题，我们就需要对算法做一些改进，比如使用核技巧的方法。
非线性支持向量机就利用核技巧来解决线性不可分问题。同时核技巧还应用于其他统计学习问题。
先来介绍一下非线性分类问题，前面讲的线性可分问题，是说，我们可以找到一个超平面或者直线将样本全部正确分类，那对于非线性问题，其实这时候用直线或超平面已经行不通，只能用椭圆，圆，多边形等等或者超曲面来将样本划分。
上面第一张图就是非线性分类问题的一个典型代表，如图样本在图形中分为两类，一类蓝的小圆圈、一类红的小叉叉，对于空中分布的这两类样本我们使用直线显然是无法将它们正确划分的，上图用的是椭圆将这两类样本划分。
那么第二个图是什么意思呢？
其实线性分类器往往很不好求解，就是说我们很难求得一个非线性数学模型，这个数学模型的表达式往往我们很难猜到，无从下手。所以为了能解决非线性问题，所采用的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题来求解原来的非线性问题，上述第二个图就是这个意思，上图做了一个非线性变换，将样本做了一个映射，映射到新的坐标系之变成了线性可分问题。
核技巧在支持向量机中的想法就是，通过一个非线性变换将输入空间对应于一个特征空间，使得输入空间的划分样本的超曲面模型对应特征空间中的超平面模型，这样我们只需要求解变换后的先行问题。