华盛顿大学 machine learning ：classification 笔记
第6周 precision & recall
1.accuracy 局限性
我们习惯用 accuracy 评价一个分类器模型的准确程度，accuracy即正确预测的样本数/预测样本总数， 一般情况下这种评价都适用。
但假设一个这样的二分类器，95%的数据都是 +1 ，分类器直接把所有数据预测为 +1，那这个分类器的accuracy 为95%, 很高，但显然这不是个好的分类器。对于这样的数 据，评价一个分类器模型准确程度还需别的评价标准。
2.True Positive & False Positive & False Negative & True Negative
对于一个二分类器，预测结果可能有以下几种情况:
True Positive: 实际为 +1，预测也为 +1。
False Positive: 实际为 -1，预测为 +1。
False Negative: 实际为 +1，预测为 -1。
True Negative: 实际为 -1，预测也为 -1。
3. Accuracy & precision & recall
Accuracy 表示为：
考虑另外两个评价参数 precision 和 recall。
4.Optimistic model & pessimistic model
Optimistic model：
一个预测模型过于乐观， 即几乎对于所有样本都预测为 +1， 这种情况往往发生在数据集多数为 +1 ，且模型过拟合的情况下。
这种模型的预测结果中， False Negative很少（实际+1 被预测为 -1），False Positive较多（实际-1 被预测为 +1）。即precision 较低， recall较高，Precision 和recall 中主要应注意 precision。
对于这种模型，需要注意减少false positive 的数量, 即：
计算Cost时false positive 与 false negative权重不同，false positive 的权重应更高；
提高预测为 +1 的confidence level，即提高判断为+1的阈值（+1 if probability >= threshold else -1），模型需要在更有把握的时候才能预测为 +1。
pessimistic model：
一个预测模型过于悲观， 即只有在非常肯定的情况下才会预测为 +1，
这种模型的预测结果中， False Negative很多（实际+1 被预测为 -1），False Positive较少（实际-1 被预测为 +1）。即 precision较高， recall较低，应主要注意 recall。
对于这种模型，需要注意减少false negative 的数量， 即
计算Cost时提高false negative 的权重。
降低预测为 +1 的confidence level。
5. 用Precision & recall评价模型好坏
显然，最理想的模型 precision、recall 都为1，然而实际情况中面临着 precision & recall 之间的权衡问题，precision 和recall 往往是此消彼长，例如有两个分类器模型A 和B，如下图所示，考虑到precision 和 recall, 哪个模型更好?
一个评价方法是：比较曲线下的面积大小（area-under-the-curve, AUC）。以这种方法进行比较，显然B分类器更好。