2018/6/6
训练误差/经验误差：学习器在训练集上的误差
泛华误差：学习器在新样本上的误差
过拟合/过配：学习能力过强
欠拟合/欠配：学习能力过弱
留出法：数据集分为一个训练集和测试集，然后保持分层采样标准进行泛化误差估计。一般用大约2/3~4/5样本用于训练。
交叉验证/k折交叉验证：将数据集分为K个大小相似的互斥子集，然后相互进行验证，一般K为10，即D1-D9作为训练集，D10作为测试集得到相应测试结果1，然后在D2-D10作为训练集，D1作为测试集得到相应测试结果2,如此反复操作。
留一法(LOO)：令k=m即数据样本数，数据比较少的时候被实际评估的模型与期望评估的用D训练出的模型很相似，但是数据量大的时候不适用，因为这时候的计算开销是很大的。
自助法：就是采用自助采样法，给定包含m个样本的数据集D，我们对它进行采样产生数据集D‘,每次随机从D中挑选一个样本，将其拷入放入D’，然后在将给样本放回初始数据集D中，重复这个过程m次。通过自助采样，初始数据集D约有36.8%样本未出现在采样数据集
D‘。自助法在数据集较小，难以有效划分训练/测试集时很有用。
调参：机器学习涉及到两类参数1.算法参数称为超参数，数目在10以内，2.模型的参数不等多则上百亿个参数。
性能度量：衡量模型泛化能力的评价标准。
查准率/准确率：P=TP/TP+FP 真正例，假正例，真反例，假反例：TP,FP,TN,FN
查全率/召回率：R=TP/TP+FN
P-R曲线：直观的显示出学习器在样本总体上的查全率，查准率。包住，交叉进行性能比较。
平衡点：查准率=查全率 也是进行性能比较的一个点
F1度量：进行对于查准率与查全率的重视程度进行的一个度量比较。
ROC曲线：研究学习器泛化能力的有力工具。TPR=TP/TP+FN 真正例率 FPR=FP/TN+FP 假正例率
AUC:进行学习器的性能判定，比较ROC曲线下的面积
非均等代价：为权衡不同类型错误所造成的不同损失，为错误赋予的
代价敏感错误率：
代价曲线：在非均等代价下，ROC曲线不能直接反应出学习器的期望总体代价，而代价曲线可以
泛化误差:为偏差，方差与噪声之和。
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。
方差：度量了同样大小的训练集的变动所导致学习性能的变化，即刻画了数据扰动所造成的影响。
噪声：表达了在当前任务上学习任何学习算法所能达到的期望泛化误差的小界，即刻画了学习问题本身的难度。