参考资料：Mastering Machine Learning With scikit-learn
- 支持向量机（support vector machine， SVM）一种强大的分类和回归模型，可以有效的解决线性不可分问题。
感知器不能有效的解决线性不可分问题。其实线性回归里面已经遇到过类似的问题，当时需要解决一个解释变量与响应变量存在非线性关系的问题。为了提高模型的准确率，我们引入了一种特殊的多元线性回归模型，多项式回归。通过对特征进行合理的组合，我们建立了高维特征空间的解释变量与响应变量的线性关系模型。
随着特征空间的维度的不断增多，在用线性模型近似非线性函数时，上述方法似乎依然可行，但是有两个问题不可避免。首先是计算问题，计算映射的特征，操纵高维的向量需要更强大的计算能力。然后是与算法归纳有关的问题，特征空间的维度的不断增多会导致维度灾难。从高维的特征变量中学习，要避免拟合过度，就需要呈指数级增长的训练数据。
- 人工神经网络（artificial neural networks，ANN），一种强大的非线性回归和分类模型。