一、参数学习算法(parametric learning algorithm)
定义：假设可以最大程度地简化学习过程，与此同时也限制可以学习到是什么，这种算法简化成一个已知的函数形式，即通过固定数目的参数来拟合数据的算法。
参数学习算法包括两个步骤：
- 选择一种目标函数的形式
- 从训练数据中学习目标函数的系数
参数学习算法的一些常见例子包括：
- Logistic Regression
- LDA（线性判别分析）
- 感知机
- 朴素贝叶斯
- 简单的神经网络
参数机器学习算法的优点：
- 简单：这些算法很容易理解和解释结果
- 快速：参数模型可以很快从数据中学习
- 少量的数据：它们不需要太多的训练数据，甚至可以很好地拟合有缺陷的数
参数机器学习算法的局限性：
- 约束：这些算法选择一种函数形式高度低限制模型本身
- 有限的复杂性：这种算法可能更适合简单的问题
- 不适合：在实践中，这些方法不太可能匹配潜在的目标（映射）函数
二、非参数学习算法(non-parametric learning algorithm)
定义：不对目标函数的形式作出强烈假设的算法称为非参数机器学习算法，通过不做假设，它们可以从训练数据中自由地学习任何函数形式，即参数数量会随着训练样本数量的增长的算法。
非参数学习算法的一些常见例子包括：
- KNN
- 决策树，比如CART和C4.5
- SVM
非参数机器学习算法的优点：
- 灵活性：拟合大量的不同函数形式
- 能力：关于潜在的函数不需要假设（或者若假设）
- 性能：可以得到用于预测的高性能模型
非参数机器学习算法的局限性：
- 更多的数据：需要更多的训练数据用于估计目标函数
- 慢：训练很慢，因为它们常常需要训练更多的参数
- 过拟合：更多的过度拟合训练数据风险，同时它更难解释为什么要做出的具体预测
注：
局部加权线性回归其实是一个非参数学习算法(non-parametric learning algorithm)；
线性回归则是一个参数学习算法(parametric learning algorithm)，因为它的参数是固定不变的，而局部加权线性回归的参数是随着预测点的不同而不同。
由于每次预测时都只看预测点附近的实例点，因此每一次预测都要重新运行一遍算法，得出一个组参数值，因此其计算代价很大。