目标检测01：常用评价指标（AP、AP50、AP@50:5:95、mAP）

目录

　　Intersection Over Union(IOU)

　　目标检测中的TP、FP、FN、TN

　　AP指标

　　mAP指标

　　AP50、AP@50:5:95指标

　　实际应用场景下的指标

　　参考资料

---

 

Intersection Over Union(IOU)

 

绿色框是ground-truth，红色框是预测框体，IOU=相交的面积/相并的面积

 返回目录

目标检测中的TP、FP、FN、TN

TP：对ground-truth框正确的检测（分类正确、预测框体与GT框体的IOU大于预设的阈值）

FP：对不存在的东西做了错的预测 或者 预测的IOU小于预设阈值

FN：漏检测

关于TN，在目标检测里是不考虑TN的，因为他有无数个（一张图片可以画无数个框）

因此，所有涉及到TN的指标，如TPR, FPR 和ROC curves都不会在目标检测里使用。

常用的是精确率和召回率：

P追求的精确，R追求的是召回，所以要在P和R之间要做一个平衡，可以使用AP指标

 返回目录

AP指标

先从简单的单类别目标检测来说

假设一共有7张图片，绿色框是GT（15个），红色框是预测框（24个）并带有置信度

现在假设IOU=30%，按照置信度排序得到下表

其中TP表示预测正确、FP表示预测错误、acc TP表示从头到该位置累计正确个数、precision表示从头到该位置的精确率、recall表示从头到该位置的召回率。

下图表示的就是从头到尾，依次加入新的样本时，P和R的变化情况：

AP的计算有两种方式：AP₁₁和AP_all：

先说AP₁₁：

 

蓝色线就是前面那张PR图，红点的横坐标有11种取值：【0,0.1,...,0.9,1】，纵坐标的取值为右侧蓝色线最高的值。AP₁₁就是11个红点的纵坐标的均值，即：

再说AP_all：

蓝色线就是前面那张PR图，红色虚线的纵坐标是单调减小的，每次减小到右侧蓝线的最高点。AP_all就是红色虚线下方的面积，即：

关于AP的计算常常使用的是AP₁₁.

 返回目录

mAP指标

如果是多类别目标检测任务，就要使用mean AP(mAP)，其定义为：

即，对所有的类别进行AP的计算，然后取均值

 返回目录

AP50、AP@50:5:95指标

 

AP50指的是IOU的值取50%，AP70同理

AP@50:5:95指的是IOU的值从50%取到95%，步长为5%，然后算在在这些IOU下的AP的均值

 返回目录

实际应用场景下的指标

 

该业务下，ACC的权重为0.2，mAP的权重为0.8

AP的计算即为：AP@10:20:50

 返回目录

参考资料

Padilla R, Netto S L, da Silva E A B. A survey on performance metrics for object-detection algorithms[C]//2020 International Conference on Systems, Signals and Image Processing (IWSSIP). IEEE, 2020: 237-242.

 返回目录