机器学习:分类算法性能指标之ROC曲线

      在介绍ROC曲线之前，先说说混淆矩阵及两个公式，因为这是ROC曲线计算的基础。

1.混淆矩阵的例子(是否点击广告)：

     说明：

            TP：预测的结果跟实际结果一致，都点击了广告。

            FP：预测结果点击了，但是真实情况是未点击。

            FN：预测结果没有点击，但是真实情况是点击了。

            TN：预测结果没有点击，真实情况也是没有点击。

2.两个公式：

    1）真正率：

         TPR=TP/(TP+FN)

    2）假正率

         FPR=FP/(FP+TN)

3.ROC曲线就是真正率随假正率的变化情况。下面用一段代码展示一下(sklearn包中包含相关算法)：

##导入相关包
import numpy as np
from sklearn import metrics
import matplotlib.pyplot as plt

##设置y值：表示实际值
y = np.array([1, 1, 2, 2])
##设置pred值：表示预测后的值
pred = np.array([0.1, 0.4, 0.35, 0.8])
##计算相关数据：注意返回的结果顺序
fpr, tpr, thresholds = metrics.roc_curve(y, pred, pos_label=2)
##计算曲线下面积
roc_auc=metrics.auc(fpr, tpr)
##绘图
plt.clf()
plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], 'k--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.0])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.legend(loc="lower right")
plt.show()

  结果如图所示：

 

4.关于ROC曲线

  1）虚线所示直线随机分类时的ROC曲线，一般画到图中作为参照点

  2）对于一个完美的分类器，ROC曲线应该是从(0,0)到(0,1)，然后横着连到(1,1)的折线

  3）ROC曲线越接近左上角，分类效果越好

5.关于AUC

  1）AUC表示曲线下面的面积

  2）对于一个完美的分类器，AUC的值应该为1

  3）对于一个随机猜测分类器(即图中虚直线)，AUC的面积为0.5

  4）AUC面积越大，分类效果越好