No free lunch theorem
在所有问题都同等重要，且真实的目标函数为均匀分布时，总误差与学习算法无关！
生成模型与判别模型
- 生成模型：通过联合分布求出条件概率分布的模型。NB+HMM.
- 判别模型：直接学习决策函数或条件概率，学习的准确率更高。kNN+决策树。
模型评估方法
数据集的作用
- 训练集：训练模型。
- 验证集： 模型选择。
- 测试集：确定泛化误差。
训练集和测试集的产生：
- 留出法:D=S∪T+S∩T= Ø
- 交叉验证法:D →k 个大小相等的互斥子集.K-1个子集并集为训练集,1个测试集,最终结果取平均。
- bootstrap:适用于数据集较小，难以划分。
性能度量
-
回归问题：MSE.
-
分类任务
- 错误率+准确率(acc)=1
- 二分类 混淆矩阵,查准率=(frac{TP}{TP+FP})和召回率(=frac{TP}{TP+FN})
- F1(查准率与召回率的
调和平均数)。更一般的是(F_eta)，β> 1 时召回率更大影响; ß < 1 时查准率有更大影响. - 不同学习器比较
- 查准率-查全率曲线：P-R曲线，看包含关系。
- ROC曲线和AUC (Area Under ROC)
-
代价矩阵：不同类型的错误所造成的后果不同。
偏差与方差：泛化误差可分解为偏差、 方差与噪声之和
- 偏差：预测值与真实值之间的差。期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
- 个数相同的不同训练集产生的方差，同样大小的
训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响.
偏差-方差窘境。