Imbalance Problems in Object Detection: A Review -- 2019PAMI https://arxiv.org/abs/1909.00169
参考:https://blog.csdn.net/m_buddy/article/details/102258526
论文总结地址:https://github.com/kemaloksuz/ObjectDetectionImbalance
目标检测常见不平衡问题:
- 类别不平衡:前景和背景不平衡、前景中不同类别输入包围框的个数不平衡;(数据贴图增广,补充采集样本等)
- 尺度不平衡:输入图像和包围框的尺度不平衡,不同特征层对最终结果贡献不平衡;(多尺度输入训练,各种FPN,TridentNet,two-stage方法,上下文信息关联目标检测从大到小,提高输入图像分辨率)
- 空间不平衡:不同样本对回归损失的贡献不平衡、正样本IoU分布不平衡、目标在图像中的位置不平衡;(各种解决IOU分布的方法及优化nms的方法,Cascade RCNN,Smooth L1)
- 目标函数不平衡:不同任务(比如回归和分类)对全局损失的贡献不平衡。(修改分类和回归的损失函数权重)
针对上面的这些问题,对应的解决方法主要从4个角度解决,每个角度对应的解决方法见下图所示:
其他问题及解决办法
1,尺度问题,对应常用方法:
数据增强,
特征融合:
利用上下文或者目标之间的关系
GAN试试
提高图像分辨率
多尺度融合
锚点设计
小技巧:ROI Pooling 被ROI align 替换
匹配策略,不用IOU
2,目标类别的不平衡
学习目标轮廓:
学习目标纹理:
https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html