Mask RCNN
一、核心要点
（1）RoIAlign
mask rcnn的关键 一是RoIAlign，是将RoIPooling的插值方式，从最近邻插值（INTER_NEAREST）方式变为双线性插值。
这里复习一下关于RoI，RoIPooling的知识
RoI是Region of Interests 特征图上感兴趣的区域（“框”）
RoIPooling的过程是将一个个大小不同的box框，都映射成固定大小（w*h）的矩形框
具体操作是：先把RoI中的坐标映射到feature map上，得到feature map上的坐标后，使用Pooling得到输出，在Pooling过程中需要计算Pooling后的结果对应到feature map上所占的范围，然后在那个范围中进行取max或average操作。使用RoIPooling会在RoI和extracted features之间对应位置产生偏移（introduce misalignments）。
所以使用RoIAlign 来解决这个问题。
论文中还和RoIWarp（J. Dai, K. He, and J. Sun. Instance-aware semantic segmentation via multi-task network cascades. In CVPR, 2016. 2, 3,4, 5, 6 ）进行了比较，实验结果表明RoIAlign的效果要好于 RoIWarp。
（2）实例分割同检测并行进行
尝试了两种不同的faster rcnn的结构，ResNet C4和FPN结构。
从图中可以看到，ResNet C4共享RoI层，而FPN是两个任务分开做RoI。
mask Loss 只定义在了正例的RoIs上。
在该文章中RPN和 mask分支，训练时，不共享特征；对于前边的特征提取，RPN和mask共享基础网络结构。
（3）使用FCN对RoI进行实例分割
使用FCN对RoI生成的每一个mask进行pixel2pixel的预测。mask编码了输入目标的空间分布。
（4）类间无竞争的Lmask
对于每个RoI，其loss定义为L=Lcls +Lbox + Lmask
Lcls为分类损失，Lbox为bounding box回归，Lmask为实例分割损失
生成k个m*m的mask，Lmask只定义在 k-th mask上对于一个具体为k类的gt，其他mask对loss没有贡献，这样类间就没有竞争。
对每一个像素使用sigmod，然后取RoI上所有像素的交叉熵的平均值，作为Lmask，
反向传播的时候，Loss只对gt那一类进行计算和反向传播，有效的避免了类别竞争，也使得分割和分类解耦（之前的FCN，是针对每一个像素进行softmax输出，然后计算交叉熵）
实验
实验一
Instance Segmentation
- 说明 Mask RCNN效果好， ResNeXt-FPN网络的表达能力最好
实验二 剥离实验分析
表二（a） Backbone Architecture实验说明，ResNeXt-101-FPN的效果要最好
表二（b）说明计算loss时，使用sigmod要好于FCN的softmax
表二（c、d）说明RoIAlign的效果要好于RoIPool和RoIWarp
表二（e）说用使用FCN进行分割的效果要好于MLP（多层感知机）
实验三 目标检测
实验四 关键点检测
实验五 cityscapes 上的效果
