title: PaperNotes Instance-Level Salient Object Segmentation
comments: true
date: 2017-12-20 13:53:11
description:
updated:
categories:
tags:
https://arxiv.org/pdf/1704.03604.pdf
摘要
现有的显著性检测算法被DL带了一波节奏，但是好像还没有说哪个方法能在显著性区域中找出object instance。本文就是做这件事的：给定输入图，先产生显著性mask，它包含了独立的目标个体。算法包含三个步骤：1.估计显著性图(saliency map);2.检测显著目标的边界(contour)；3.找出所有目标个体。其中前两步是用一个多尺度显著性精调网络算出。。。
Introduction
saliency detection本身仅仅是检测出显著性的区域，而没有精细到目标个体级别。文章认为个体级别是下一步需要关注和解决的问题，把salient instance segmentation问题分解为3个子任务：1)生成pixel-level的saliency mask（用网络来产生）. 2)检测出显著性目标实例的contour，也就是边界检测. 3)找出显著性个体实例，通过产生一些object proposal来做到。最后，基于CRF做微调细节。
提出了MSRNet网络，既能做显著性区域检测，也能做显著性目标个体检测。还创建了一个很有挑战性的数据集。
相关工作
传统的显著性检测方法，分成：
1)bottom-up方法系：基于low-level特征
2)top-down方法系：结合high-level知识
DL也被广泛使用在显著性检测中，基于DL的方法，分成：
1)segmentation or patch based，也就是基于分割或者小块区域的方法：把各个patch独立看待，考虑到patch之间的overlap,这种方法计算量大
2)end2end方式的显著性infernce方法：用一个网络来搞定精度和效率的问题，包括使用了基于RNN的网络，缺点是都只考虑了单个尺度（而本文的MSRNet则考虑了多尺度）。
本文提出的算法
------------ ------------- ------------ ----------
| | | | |Salient | | |
|Salient | |Salient | |Instance | |Salient |
|Region | => |Object | => |Generation| => |instance |
|Detection | |Boundary | |(MCG) | |refinement|
| | |Detection | | | |（CRF） |
------------ ------------- ------------ -----------
其中第一个subtask和第一个subtask，都用MSRNet来做，先train一个显著性区域检测网络，再用所得网络去fine-tune边界检测。这两个子任务的对应网络的loss函数有所不同，错误乘法系数一个是2倍，一个是10倍。具体见文章。
使用了MCG这个object proposal generation方法，其中gPb用MSRNet来替代产生。