一、模型评估和模型选择
1、训练误差与测试误差
2、过拟合和模型选择
经验风险最小化会出现过拟合问题。
二、正则化与交叉验证
1、正则化
模型选择的典型方法是正则化。
正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项。
正则化符合奥卡姆剃刀原理。
2、交叉验证
另一种常用的模型选择方法是交叉验证cross validation
随机将数据集切分成三部分：训练集，验证集，测试集。
验证集用于多模型的选择。
交叉验证的基本想法是重复地使用数据，吧给定的数据切分，将切分的数据集合为训练集与测试集，反复训练，测试，模型选择。
（1）简单交叉验证
（2）S折交叉验证
（3）留一交叉验证
三、泛化能力
四、生成模型与判别模型
1、生成模型：生成反复由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。
典型的有：朴素贝叶斯法、隐马尔可夫模型
2、判别模型：判别方法由数据直接学习决策函数f(X)或者条件概率分布P(X|Y)作为预测的模型，即判别模型。
典型的有：k近邻法，感知机，决策树，逻辑斯蒂回归模型，最大熵模型，支持向量机，提升方法，条件随机场等。