全景分割丨全景分割论文笔记

下一个项目将开始研究全景分割，这里把去年和今年出来的paper简单列了一下，全景分割框架内有很多细节，一时半会没法吃透，需要时间慢慢消化。

Panoptic Segmentation

核心思想

http://arxiv.org/abs/1801.00868

• 提出新的任务PS，结合了semantic segmentation和instance segmentation
• 提出新的指标PQ
• 在三个数据集上研究了人和机器的表现。

评价指标

网络架构

結合语义分割和实例分割的output。在Cityscapes数据集上，用PSPNet和Mask R-CNN提供语义和实例分割。

实验结果

Panoptic FPN

核心思想

• 基于Mask R-CNN with FPN，并作了一些小改变来生成语义分割结果。

网络架构

• Semantic segmentation branch

  从FPN的最深层开始，每层上采样为1/4scale的feature map。每次上采样包含3x3conv，group norm，ReLU和2x双线性插值。

​ 作者还考虑了内存和计算量，对比了如下的不同设计，发现FPN最高效。

• 联合训练

  Instance segmentation losses:(L_c(classification loss)，L_b(bounding-box loss)，L_m(mask loss))

  Semantic segmentation loss:(L_s)

  Final loss:(lambda_i(L_c+L_b+L_m)+lambda_s L_s)

实验结果

DeeperLab

核心思想

• 主要贡献
  1. 提出了几种网络设计策略，特别是减少高分辨率输入的内存占用。
  2. 基于设计策略，提出了高效single-shot，bottom-up的DeeperLab。
  3. 提出了新的指标Parsing Covering，从基于区域的角度评估图像解析结果。

• Parsing Covering

  PQ只关注每个实例的分割质量，而不考虑不同实例的大小，不同大小物体最终分割结果对PQ影响相同，于是提出了PC评价指标。

  

  (R,R')分别表示对应类别的预测segments与真实segments，(|R|)表示对应类别的实例在真实标注中像素点数量，(N_i)表示类别为i的真实标注像素点总和。通过对大的实例物体赋予更大的权重，使评价指标能够更明显地反映大物体的分割指标。

网络架构

• Encoder

  • Xception-71或MobileNetV2，并在末尾加了ASPP。

• Decoder

  • 借鉴了DeepLabV3+。ASPP的输出分别被1x1conv降维然后concat。
  • DeepLabV3+在concat前上采样已经降维后的ASPP的输出，但上采样会带来内存消耗，于是采用space-to-depth operation。
  • 后面还使用两个7x7的depthwise conv来增大感受野，然后通过depth-to-space降维。

  

• Image Parsing Prediction Heads

  • Semantic Segmentation Head：最小化bootstrappd cross-entropy loss并且用了hard example mining，只回传top-K errors。
  • Instance Segmentation Head
    1. the keypoint heatmap：预测像素是否位于关键点中心半径为R的圈内。
    2. the long-range offset map：预测像素到所有关键点的位置偏移，对每个像素的long-range信息编码。
    3. the short-range offset map：类似于long-- range其仅关注关键点半径R内的像素。
    4. the middle-range offset map：预测关键点对之间的偏移。

• Prediction Fusion：将四个预测融合到一个类不相关的instance segmentaion map，再最终融合semantic和instance segmentation map。
  • Instance Predicton：Recursive offset refinement、Keypoint localization、Instance detection、Assignment of pixels to instances
  • Semantic and Instance Prediction Fusion：从语义分割开始，被预测为‘stuff’被分配唯一的instance label。其他像素的instance label通过实例分割确定，其semantic label则通过多数投票。

实验结果

AUNet

核心思想

• 设计了PAM和MAM，分别基于RPN阶段的特征图与实例分割输出的前景分割区域，为stuff segmentation提供了物体层级注意力与像素层级注意力。

网络架构

• Attention-guided Modules

  • Proposal Attention Module(PAM)

    

  • Mask Attention Module(MAM)

    

    此外还提出了RoIUpsample

    

实验结果

UPSNet

核心思想

网络架构

• Backbone：Mask R-CNN（ResNet+FPN）

• Instance Segmentation Head：Bbox regression output、cls output 和seg mask output。

• Semantic Segmentation Head：

  

• Panoptic Segmentation Head：

  

实验结果

TASCNet

核心思想

• 使实例分割和语义分割的预测输出保持一致性。

网络架构

• Backbone：ResNet50+FPN，可捕获更深层次的低级特征，识别更广泛的对象尺度。
  • Stuff Head
    1. 用3x3conv 将维度从256降到128。
    2. 使用group normalization归一化层。
    3. 使用额外的3x3conv，保持channel。
    4. 归一化并上采样到FPN最大尺度的feature map。
  • Things Head：类似于Mask R-CNN，有三个head。
• TASC：将两个head的输出分布分开。
• Mask-Guided Fusion

实验结果

JSIS-Net

核心思想

• CNN联合预测语义分割和实例分割输出
• 启发式合并输出来生成全景分割结果

网络架构

• 框架

  • Backbone：ResNet-50，被语义分割和实例分割共享。

  • semantic segmentation branch：首先采用Pyramid Pooling Module来生成feature map，再使用混合上采样将预测变成原图尺度。混合上采样首先采用了转置卷积然后是双线性插值。

  • instance segmentation branch：基于Mask R-CNN。

    用Loss来平衡联合学习。

    

• 合并输出：需要解决两类冲突：overlapping instance masks和conflicting stuff predictions

  • Ovelapping instance masks：对所有重叠的instance mask采用NMS，但是会移除很多true的预测。相反，我们选择利用每个实例的概率图来解决冲突。在多个instance mask预测像素属于某个物体，采取特定像素处具有最高概率的。
  • Conflicting predictions for things classes：thing存在于语义分割和实例分割，无可避免会有冲突。于是我们移除语义分割输出中所有thing类并用最可能的stuff类替换它们，这样语义分割输出中只有stuff类。然后用实例分割输出的thing替代语义分割输出。

实验结果

OANet

http://arxiv.org/abs/1903.05027

核心思想

• Contribution

  1. 第一个提出全景分割中的end-to-end occlusion aware pipeline。

  2. 提出了一种spatial ranking module来解决重叠关系的模糊性。

  3. 在COCO全景分割数据集上达到了SOTA。

网络架构

算法包含三部分

1. stuff branch预测整张图的stuff segmentation
2. instance branch提供instance segmentation
3. spatial ranking module为每个instance生成ranking score

• End-to-end 网络架构

  

  • backbone：FPN
  • Instance segmentation：Mask R-CNN提供proposal classification score、proposal bb coordinates和proposal instance mask。
  • stuff segmentation：两个3x3conv叠加在RPN的feature map上，之后concatenate。共享backbone和skip-connection。object信息可以为stuff提供上下文，在测试时，我们只提取stuff preditions并将其归一化为概率。

  

  为了平衡两种监督，我们提出了multiple losses。

  [L_{total}=(L_{rpn_cls}+L_{rpn_bbox}+L_{cls}+L_{bbox}+L_{mask})+lambda cdot L_{seg_(stuff+object)+L_{srm}} ]

• Spatial Ranking Module

  当前的实例分割框架没有考虑不类间的重叠问题，因为指标AP等不受此问题影响。然而全景分割任务中图像中的像素固定，因此必须解决重叠问题，或一个像素多分配。

  

  检测分数通常对instance采用降序排列，由于COCO中人更加频繁，使得领带被误判为人。

  于是本文提出spatial ranking module模块，isntance tensor被初始化为0，mapping value被设置为1。然后我们在tensor后采用large kernel conv来获得ranking score map。最后使用pixel-wise cross entropy loss来优化ranking score map。

  

  

实验结果

Weakly- and Semi-Supervised Panoptic Segmentation

核心思想

• 首个采用弱监督学习全景分割的方法，在没有足够全景分割标注的情况下，学习模型。

总结

• 可以从以下三个角度分析与优化全景分割算法：
  1. 网络框架搭建：这里指提出一个整体网络，实现端到端。
  2. 子任务融合(Subtask Fusion)：通常stuff 和instance分支通常相互独立，这里指两个分支间是否建立了关联并相互促进。
  3. 全景输出预测(Panoptic Output)：合并stuff和instance分支结果时，通常采用先验逻辑判断；这里指是否设计了针对全景分割结果合并的模块。

Method	Contribution	End-to-end	Subtask Fusion	Panoptic Output	COCO 2018 task
Panoptic Segmention	define the ps task、Metric:PQ	×	×	×
Panoptic FPN	Up-to-Down	√	×	×	40.9
JSIS-Net	Try end-to-end	√	×	×	27.2
DeeperLab	Bottom-to-Up、Metric:PC	√	×	√	-
UPSNet	Panoptic Head	√	×	√	46.6
OANet	Occlusion Aware	√	×	√	41.3
AUNet	Attention-guided	√	√	×	46.5
TASCNet	Cross-task Consistency	√	√	√	-

参考

• paper

[1]Kirillov A, He K, Girshick R, et al. Panoptic segmentation[J]. arXiv preprint arXiv:1801.00868, 2018.

[2]Kirillov A, Girshick R, He K, et al. Panoptic Feature Pyramid Networks[J]. arXiv preprint arXiv:1901.02446, 2019.

[3]Yang T J, Collins M D, Zhu Y, et al. DeeperLab: Single-Shot Image Parser[J]. arXiv preprint arXiv:1902.05093, 2019.

[4]Li Y, Chen X, Zhu Z, et al. Attention-guided unified network for panoptic segmentation[J]. arXiv preprint arXiv:1812.03904, 2018.

[5]Xiong Y, Liao R, Zhao H, et al. UPSNet: A Unified Panoptic Segmentation Network[J]. arXiv preprint arXiv:1901.03784, 2019.

[6]Li J, Raventos A, Bhargava A, et al. Learning to fuse things and stuff[J]. arXiv preprint arXiv:1812.01192, 2018.

[7]de Geus D, Meletis P, Dubbelman G. Panoptic segmentation with a joint semantic and instance segmentation network[J]. arXiv preprint arXiv:1809.02110, 2018.

[8]Liu H, Peng C, Yu C, et al. An End-to-End Network for Panoptic Segmentation[J]. arXiv preprint arXiv:1903.05027, 2019.

• blog

漫谈全景分割

全景分割这一年，端到端之路