D2Det是一种two-stage算法,类似于Faster-RCNN,在Faster-RCNN的基础上进行了一些改进,总体框架如下图(a)所示:
和Faster-RCNN相比,改进的地方在于:
1. Dense local regression
如上图(b)所示,Faster-RCNN是对RPN提出的ROI进行卷积操作,对提出的box进行NMS操作,得到最后的结果,而D2Det是对ROI内所有的点提出的box进行平均运算,得到最后的box,而且并不是对所有的点进行平均,而是预测ROI内所有的点的前景/背景分类,只有前景的点才参与平均运算,背景点不参与平均运算;
2. Discriminative ROI pooling
如上图(c)所示,类似于Deformable ROI Pooling,改进之处在于,先进行一种轻量级的偏移量预测,预测偏移量之后,对于4个采样点采用加权pooling,即哈达玛积(Hadamard).