Efficient Salient Region Detection with Soft Image Abstraction笔记

针对已有的方法中存在的问题：

1. Itti模型，针对Itti模型进行的扩展的显著性检测方法，以及光谱剩余假说系列的方法过分强调小的，局部特征，对对象级别的应用不适合；
2. 对图像的全局属性进行建模的方法，虽然能够将整个对象较好地检测出来，但是计算复杂度高；
3. 综上找到一种compact并且有效的表示方法很有必要。这样的方法有颜色平均值或亮度平均值表示。但是一阶平均太简单，忽略了颜色的方差以及图像各部分之间的空间关系；
4. 近期，Cheng提出了一种基于区域对比度的方法来对全局显著性进行建模，但是由于这种方法使用了image segments，不太容易对空间分布进行建模。

本文提出的方法既考虑了全局唯一性，有考虑了颜色的空间分布。具体步骤如下：

• 用GMM对颜色进行聚类

1. 1. 对RGB颜色空间进行量化，将R，G，B均匀量化成12阶，然后计算各通道的直方图，将出现频率高的阶留下，总的像素的覆盖比率为95%；
   2. 计算量化后的颜色的协方差矩阵，进而估计GMM中的其余参数，即均值和后验概率。GMM的component的个数为15。

• spatial overlap based component clustering

1. 1. 对于图像中的每一个像素，均可以获得一个向量P=[p1, .., p15]，保留P中前两个最大元素，P中其余元素置为0
   2. 对于每一个分量，先进行一个3*3的均值滤波
   3. 计算两个clusters之间的空间一致性C(ci, cj)，得到一个pairwise coponent correlation矩阵。
   4. 进行聚类，得到C类。采用的方法是message-passing based clustering，correlation矩阵就用来衡量15个GMM分量之间的相似性。用message-passing based clustering的好处是不用指定聚类的数目。

• 层次表示和索引

1. 1. 0层：所有的像素，可以生成一整全分辨率的显著图（元素个数等于图像的大小）；
   2. 1层：直方图表示层（元素个数约为85）；
   3. 2层：GMM表示层（元素个数为15）；
   4. 3层：message-passing 聚类后的层（元素个数小于15）；
   5. 底层与高一层具有对应关系，这种对应关系也应该保存。

• 全局唯一性计算(Global Uniqueness)

  在2层，即GMM表示层计算GMM分量ci的全局唯一性，从而得到显著图。

• 颜色空间分布(Color Spatial Distribution)

  在3层，即message-passing clustering后的表示层，计算颜色的空间分布，从而得到显著图。

• GU和CSD的整合

V. Gopalakrishnan et al. 2009认为用权重组合单个的显著图并不是一个很好的选择，有时候甚至会变得更差。因此，作者借助于compactness中的假设，将空间差异更小的显著图做为最终的显著图。

实验部分

在MSRA1000上进行的实验，最终的PR Curve与SF相当，所以必定比GS_SP（ECCV2012）差。