看了好多博客,踩了很多坑,终于把FDDB数据集的ROC曲线绘制出来了。记录一下。
环境:ubuntu18.04
1.数据集准备
去FDDB官网:http://vis-www.cs.umass.edu/fddb/
1.1 下载原始的FDDB人脸数据集
images:下面是存在2002和2003文件夹下的图片。
annotations:FDDB-folds文件下是含有人脸数据的标注
FDDB-flod-%d.txt等文件名存放着图片路径名,FDDB-fold-%d-ellipseList.txt等文件名存放着标注文件:第一行是文件路径,第二行是人脸数N,之后是N行数据,左上角的x,左上角的y,宽w,高h,人脸置信度,以空格为分隔。
将FDDB-FOLD-%d.txt合成一个文件: cat * > img_list.txt
2.下载evaluation源码,将文件放入ubuntu
官网下载评估源码:http://vis-www.cs.umass.edu/fddb/results.html
放到ubuntu中,解压。
在evaluation里面放入准备好的3个文件 和 图片文件
img_list.txt是合并的路径名。
annotFile.txt是合并的标注文件
FDDB-det-prelu3.txt是自己检测网络生成的。
注意:直接将上面生成的txt文件复制到ubuntu下会报错Incompatible annotation and detection files. See output specifications ,由于windows下文件和ubuntu下不同导致的。只需要在ubuntu下面创建一个txt文件,然后将内容复制进去即可。
3.在ubuntu18.04中安装opencv
参考资料:Ubuntu18.04中安装opencv 。 https://blog.csdn.net/yllifesong/article/details/80980274
注意:慢或者timeout就用清华镜像!(pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple)
4.生成evaluation可执行文件
注意:如果用的是openCV3.x版本,则需要修改Makefile才能编译通过。添加以下两行(和官网不一样), 并修改evaluate顺序。
INCS = -I/usr/local/include/opencv LIBS = -L/usr/local/lib -lopencv_core -lopencv_imgproc -lopencv_highgui -lopencv_ml -lopencv_video -lopencv_features2d -lopencv_calib3d -lopencv_objdetect -lopencv_imgcodecs
如果不需要ppm需要注释掉,修改evaluation文件夹里面的common.hpp:
成功!
5.执行生成ROC.txt文件
./evaluate -a annotFile.txt -d FDDB-det-prelu3.txt -f 0 -i pic/ -l img_list.txt -r aaa
其中:-a是标准标注文件,-d是自己生成的,-f代表是矩形,-i是图片放的地址,-l 是路径文件,-r自己随意命名
生成了aaaContROC.txt和aaaDiscROC.txt文件。
生成的DiscROC.txt中第一列为TPR(根据TPDisc算出的),第二列为FP,第三列为当前的阈值;而ConROC.txt中第一列为TPR(根据TPCont 算出的),第二列为FP。
他们的区别:https://blog.csdn.net/xcls2010/article/details/79744507
根据discROC.p 更改,
将plot后面的txt改成自己生成的ROC.txt或者要对比的ROC曲线。
输出图片在set output 后面写 xxx.png
这只是个演示的曲线~~~