sklearn.metrics中的confusion_matrix、ROC、AUC指标

1.confusion_matrix

理论部分见https://www.cnblogs.com/cxq1126/p/12990784.html#_label2

from sklearn.metrics import confusion_matrix

#if y_true.shape=y_pred.shape=(N,)
tn, fp, fn, tp = confusion_matrix(y_true, y_pred, labels=[0, 1]).ravel()   
print('sensitivity: ', tp/(tp+fn))
print('specificity: ', tn/(tn+fp))

#if y_true.shape=y_pred.shape=(N, 2)
tn, fp, fn, tp = confusion_matrix(y_true2[:, 0], y_pred2[:, 0], labels=[0,1]).ravel()
print('sensitivity: ', tp/(tp+fn))
print('specificity: ', tn/(tn+fp))

2.classification_report

from sklearn.metrics import classification_report

file_logger.info('classification report:
%s' % classification_report(y_true, y_pred, target_names=test_dataset.ind_to_cls_dict, digits=4))

y_true和y_pred的shape=(N,)，结果类似下面

3.roc_curve, auc 

如果最后的y_score维度是(N, )（即经过网络层的输出概率logits的shape=(N, )，也就是说最后的fc层输出维度为1），画一个ROC曲线

from sklearn.metrics import roc_curve, auc 

fpr, tpr, threshold = roc_curve(y_true, y_score)
roc_auc = auc(fpr, tpr)
        
plt.figure(figsize=(8, 5))
plt.plot(fpr, tpr, color='darkorange', label='ROC curve (area = %0.4f)' % roc_auc)  
 
lw = 2   
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.legend(loc="lower right")
plt.show()

Tip：y_pred的类型是np.array

如果最后的y_score维度是(N, 2)（即经过网络层的输出概率logits的shape=(N, 2)，也就是说最后的fc层输出维度为2），按类别画2个ROC曲线

from sklearn.metrics import roc_curve, auc 
import matplotlib.pyplot as plt

plt.figure(figsize=(8, 5))
colors = ['darkorange', 'cornflowerblue']
fpr, tpr, roc_auc = dict(), dict(), dict()
for i in range(2):
     fpr[i], tpr[i], threshold = roc_curve(y_true2[:, i], y_score[:, i])
     roc_auc[i] = auc(fpr[i], tpr[i])
        
    
     plt.plot(fpr[i], tpr[i], color=colors[i], label='ROC curve (area = %0.4f)' % roc_auc[i])  
 
lw = 2   
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('1-Specificity')
plt.ylabel('Sensitivity')
plt.legend(loc="lower right")
plt.show()

如果维度(N,)想要转换成(N, 2)，可以使用独热编码，详细见https://www.cnblogs.com/cxq1126/p/13696082.html#_label3

import torch.nn.functional as F

#y_true改成二维版本
x1 = F.one_hot(torch.tensor(y_true), num_classes = 2)
y_true2 = np.array(x1)

然后再调用roc_curve函数。