1、评估标准
1）经验误差 ：训练集上产生的误差
2）泛化误差：对新样本进行预测产生的误差
3）过拟合：经验误差很小甚至为零，泛化误差很大（模型训练的很复杂，几乎涵盖了训练集中所有的样本点）
4）欠拟合：与过拟合相反
一般模型的泛化误差越小越好
2、评估方法
1）留出法：采用分层采样的方式留出验证集
2）交叉验证法：将数据集均分k份，留出一份作为交叉验证集，重复k次取均值
3）自助法：随机可重复采样m次，所得集合作为训练集，余下数据作为验证集
在数据集较小时，自助法比较可靠 在数据集较大时，留出法和交叉验证法更常用一些
3、调参与最终模型
1）调参：调整模型输入参数，使得结果接近最佳，如果计算资源允许，可通过枚举方式进行
2）在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型
4、性能度量
回归任务中最常用的性能度量是均方误差
1）错误率与精度
2）查准率（precision）与查全率（recall）