目标检测mAP计算方法简单易懂

本次将整理一份map计算方法，主要分为2部分，第一部分介绍map原理，主要引用部分他人结果，第二部分说明如何整理真实标签的数据及预测数据，调用pycocotools库实现map的计算，以下便是本博客的整理(附带转换coco json代码)：

一.map原理：

定义内容均来自此网址：https://zhuanlan.zhihu.com/p/70667071

Accuracy：准确率

✔️ 准确率=预测正确的样本数/所有样本数，即预测正确的样本比例（包括预测正确的正样本和预测正确的负样本，不过在目标检测领域，没有预测正确的负样本这一说法，所以目标检测里面没有用Accuracy的）。

Precision：查准率

✔️ recision表示某一类样本预测有多准。

✔️ Precision针对的是某一类样本，如果没有说明类别，那么Precision是毫无意义的（有些地方不说明类别，直接说Precision，是因为二分类问题通常说的Precision都是正样本的Precision）。

Recall：召回率

✔️ Recall和Precision一样，脱离类别是没有意义的。说道Recall，一定指的是某个类别的Recall。Recall表示某一类样本，预测正确的与所有Ground Truth的比例。

✍️ Recall计算的时候，分母是Ground Truth中某一类样本的数量，而Precision计算的时候，是预测出来的某一类样本数。

F1 Score：平衡F分数

F1分数，它被定义为查准率和召回率的调和平均数

更加广泛的会定义  分数，其中  和  分数在统计学在常用，并且，  分数中，召回率的权重大于查准率，而  分数中，则相反。

AP: Average Precision

以Recall为横轴，Precision为纵轴，就可以画出一条PR曲线，PR曲线下的面积就定义为AP，即：

PR曲线

由于计算积分相对困难，因此引入插值法，计算AP公式如下：

计算面积：

原理：

二.代码：

本部分才是本博客重要内容，我将介绍2部分，第一部分如何使用有标记的真实数据产生coco json格式与如何使用模型预测结果产生预测json格式，第二部分如何使用代码计算map。

①.json格式

真实数据json格式实际是coco json 格式，主要是如下图：

 其中images格式如下图：

annotations格式如下：

 categories格式为：

 以上为真实数据转换为json的格式。

预测结果数据json格式转换，主要是如下图：

                                   

 以上右图是整体结构，实际为列表，左图是预测信息，保存为字典，其详细内容如下：

 特别注意：image id 对应真实coco json图像的image-id，类别id也是对应真实coco json中的类别id。

 ②.实际代码，借助pycocotools 库中评估类别，具体代码如下图：

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval

if __name__ == "__main__":
    cocoGt = COCO('coco_json_format.json')        #标注文件的路径及文件名，json文件形式
    cocoDt = cocoGt.loadRes('predect_format.json')  #自己的生成的结果的路径及文件名，json文件形式
    cocoEval = COCOeval(cocoGt, cocoDt, "bbox")
    cocoEval.evaluate()
    cocoEval.accumulate()
    cocoEval.summarize()

③结果展示：

附带xml转换coco json代码：

import os
import json
import xml.etree.ElementTree as ET
import cv2  # 无xml时候需要读取图片高与宽
# from cope_data.cope_utils import *
from tqdm import tqdm








def read_xml(xml_root):
    '''
    :param xml_root: .xml文件
    :return: dict('cat':['cat1',...],'bboxes':[[x1,y1,x2,y2],...],'whd':[w ,h,d])
    '''
    dict_info = {'cat': [], 'bboxes': [], 'box_wh': [], 'whd': []}
    if os.path.splitext(xml_root)[-1] == '.xml':
        tree = ET.parse(xml_root)  # ET是一个xml文件解析库，ET.parse（）打开xml文件。parse--"解析"
        root = tree.getroot()  # 获取根节点
        whd = root.find('size')
        whd = [int(whd.find('width').text), int(whd.find('height').text), int(whd.find('depth').text)]
        xml_filename = root.find('filename').text
        dict_info['whd']=whd
        dict_info['xml_filename']=xml_filename
        for obj in root.findall('object'):  # 找到根节点下所有“object”节点
            cat = str(obj.find('name').text)  # 找到object节点下name子节点的值（字符串）
            bbox = obj.find('bndbox')
            x1, y1, x2, y2 = [int(bbox.find('xmin').text),
                              int(bbox.find('ymin').text),
                              int(bbox.find('xmax').text),
                              int(bbox.find('ymax').text)]
            b_w = x2 - x1 + 1
            b_h = y2 - y1 + 1

            dict_info['cat'].append(cat)
            dict_info['bboxes'].append([x1, y1, x2, y2])
            dict_info['box_wh'].append([b_w, b_h])

    else:
        print('[inexistence]:{} suffix is not xml '.format(xml_root))
    return dict_info







# xml转换为训练集
def train_multifiles(root_data, json_name='train.json', categories=None, out_dir=None, add_file=False,refuse_category=[],category_path=None):
    '''
    json文件中的file_name包含文件夹/名字
    :param json_name: 保存json文件名字,最终结果在out_dir+json_name(若out_dir有路径情况)，否则在root_data下面
    :param categories: 类别信息，为None则将self.root文件夹的名字作为类别信息
    add_file :True表示cocojson中添加文件名，否则不添加
    refuse_category:拒绝装换为cocojson的类的列表
    :return:
    '''



    def read_txt(file_path):
        with open(file_path, 'r') as f:
            content = f.read().splitlines()
        return content
    def write_txt(text_lst, out_dir):
        '''
        每行内容为列表，将其写入text中
        '''
        file_write_obj = open(out_dir, 'w')  # 以写的方式打开文件，如果文件不存在，就会自动创建
        for text in text_lst:
            file_write_obj.writelines(text)
            file_write_obj.write('\n')
        file_write_obj.close()
        return out_dir

    def get_strfile(file_str, pos=-1):
        '''
        得到file_str / or \\ 的最后一个名称
        '''
        endstr_f_filestr = file_str.split('\\')[pos] if '\\' in file_str else file_str.split('/')[pos]
        return endstr_f_filestr

    # coco json文件格式
    json_dict = {"images": [], "type": "instances", "annotations": [], "categories": []}
    image_id = 10000000
    anation_id = 10000000
    xml_root_lst = []
    for dir, dir_file, dir_names in os.walk(root_data):
        name_lst = [os.path.join(dir, name) for name in dir_names if name[-3:] == 'xml']
        xml_root_lst = xml_root_lst + name_lst
    if category_path is None:
        if categories is None:
            categories = []
        elif isinstance(categories, list):
            categories = categories
        else:
            raise IOError('categories must be list or None')
    else:
        categories=read_txt(category_path)


    count_categories = {}
    for xml_root in tqdm(xml_root_lst):
        try:
            xml_info=read_xml(xml_root)
            if len(xml_info['cat'])>0:
                xml_filename = xml_info['xml_filename']
                xml_name = get_strfile(xml_root)
                img_name = xml_name[:-3] + xml_filename[-3:]
                # 转为cocojson时候，若add_file为True则在cocojson文件的file_name增加文件夹名称+图片名字
                file_name = get_strfile(xml_root, pos=-2) + '/' + img_name  if add_file else img_name  # 只记录图片名字

                image_id = image_id + 1

                w,h,d=xml_info['whd']
                # 构建json文件字典
                image = {'file_name': file_name, 'height': h, 'width': w, 'id': image_id}
                for i, category in enumerate(xml_info['cat']):

                    if category  in refuse_category:
                        print('refuse {} code will not convert coojson format '.format(category))
                        continue
                    # 若categories列表不包含该code则增加该code到列表中
                    if category not in categories and category_path is None:
                        categories.append(category)
                    # 计数每个cat的数量
                    count_categories[category]=1  if category not in count_categories else count_categories[category]+1


                    # 表示有box存在，可以添加images信息
                    if image not in json_dict['images']:
                        json_dict['images'].append(image)  # 将图像信息添加到json中
                    category_id = categories.index(category) + 1  # 给出box对应标签索引为类
                    anation_id = anation_id + 1
                    xmin,ymin,xmax,ymax=xml_info['bboxes'][i]

                    o_width,o_height=xml_info['box_wh'][i]

                    if (xmax <= xmin) or (ymax <= ymin):
                        print('code:[{}] will be abandon due to  {} min of box w or h more than max '.format(category,xml_root))  # 打印错误的box

                    else:
                        ann = {'area': o_width * o_height, 'iscrowd': 0, 'image_id': image_id,
                               'bbox': [xmin, ymin, o_width, o_height],
                               'category_id': category_id, 'id': anation_id, 'ignore': 0,
                               'segmentation': []}
                        json_dict['annotations'].append(ann)
        except:
            print('xml file: {} not read error!'.format(xml_root))


    for cid, cate in enumerate(categories):
        cat = {'supercategory': cate, 'id': cid + 1, 'name': cate}
        json_dict['categories'].append(cat)
    if out_dir is not None:
        build_dir(self.out_dir)
        out_dir = os.path.join(out_dir, json_name)
        out_dir_txt=os.path.join(out_dir, 'classes.txt')
    else:
        out_dir = os.path.join(root_data, json_name)
        out_dir_txt = os.path.join(root_data, 'classes.txt')
    with open(out_dir, 'w') as f:
        json.dump(json_dict, f, indent=4)  # indent表示间隔长度

    write_txt(categories,out_dir_txt)


    print('categories count : \n',count_categories)




if __name__ == '__main__':
    root_path = r'D:\DATA\coco2017_train_val\data_coco_clear_2017\val'
    category_path=r'D:\DATA\coco2017_train_val\data_coco_clear_2017\classes.txt'
    train_multifiles(root_path,category_path=category_path)

借鉴博客：https://blog.csdn.net/qq_35916487/article/details/89076570