模型类型
参数模型
统计学中，参数模型通常假设总体服从某一个分布，该分布由一些参数确定(正太分布由均值和方差确定)，在此基础上构造的模型称为参数模型
包括
- 逻辑回归
- 线性成分分析
- 感知机
优点
- 间洁：理论容易理解和解释结果
- 快速：参数模型学习和训练的速度都很快
- 数据更少：通常不需要大量的数据，在对数据的拟合不很好时表现也不错
局限
- 约束：以选定函数形式的方式来学习本身就限制了模型
- 有限的复杂度：通常只能应对简单的问题
- 拟合度小：实际中通常无法和潜在的目标函数吻合
非参数模型
对总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的(分布中也可能存在参数)，但是无法知道其分布的形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。
对目标函数形式不作过多的假设的算法称为非参数机器学习算法，通过不作假设，算法可以自由的从训练数据中学习任意形式的函数。
非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合，同时维持一些泛化到未知数据的能力。同样的，他们可以拟合各自形式的函数。
K近邻算法：其目标是基于k个最相近的模式对新的数据进行预测，这种理论对于目标函数的形式，除了相似模型的数目以外不作任何假设
包括
- 决策树、CART、C4.5
- 朴素贝叶斯
- 支持向量机SVM
- 神经网络
优点
- 可变性：可以拟合许多不同的函数形式
- 模型强大：对于目标函数不作假设或者作微小假设
- 表现良好：对于预测表现可以非常好
局限性
- 需要更多的数据：对于拟合目标函数需要更多的训练数据
- 速度慢：因为需要训练更多的参数，训练过程通常比较慢
- 过拟合：有更高的风险发生过拟合，对于预测也比较难以解释
距离模型
包括
- 线性回归
- SVM
- Logistics回归
- knn
- k-means
预处理
- 属性多时，最好先降维，以免无意义的数据淹没有意义的数据
- 使用前做直方图分析，查看样本的密集区域
- 使用之前需要对各个属性做标准化，以免值大的属性有更大的权重
- 使用前最好根据经验对各个属性分配不同权重
- 对于无法直接分开的数据，可以考虑使用核函数转换后再计算距离
