Cluster-based Co-saliency Detection笔记

1. 两个定义

• 协同显著性：在一组相似的图像中发现unique object (D. Jacobs 2010)// 从多幅图像中发现共有的显著性
• 协同分割：将两张或是多张图像中相似的对象分割感出来

2. co-saliency与co-segmentation之间的区别

• 在非监督的co-segmentation方法中，图像中的非显著但相似的背景会给corresponding过程带来副作用；
• 对于有歧义的图像，需要用户的输入来指导分割过程；
• co-segmentation方法的计算量往往很大，尤其是面对大量的图像的时候。然而很多需求，例如图像缩放，目标定位和识别，对于精度要求往往不是很苛刻，只要能够快速定位出多张图像中的共有对象即可。

3. 本文所做的工作

• 基于聚类的co-saliency检测                                                                                                                                            
• 用的特征是contrast，spatial，correspondence；
• 优点是基本上是自底向上的，没有繁重的学习过程，而且简单、通用、有效；
• 在协同分割，鲁棒的图像测距，弱监督学习以及视频前景提取具有广泛的应用前景。

4. 本文的动机

单张图像中的显著性检测方法忽视了多张图像中的关联线索，因此，本文将重复属性做为附加约束来发现多张图像中的共有显著对象。所以本文既考虑了单张图像内的显著性(intra-saliency)，也考虑了多张图像间表现出的显著性(inter-saliency)。

5. 方法概述

符号说明：

张图像记为；

图像中的像素集合记为，其中表示第j个image lattice（不是图像中的像素的个数？）；

对这M张图像进行聚类，得到K个cluster，记为，聚类中心记为，是D维向量；

对于图像中每个像素以及对应的cluster index ，定义一个映射函数。

是图像中像素的归一化后的位置。

所用的显著性测度:

• 特征对比度测度Contrast Cue

    类 的特征对比度测度定义为类与其他类的特征对比度，形式化描述如下：

                 

其中为所有的图像的像素和，为聚类的像素个数。所以，类中像素个数越多，对特征对比度的贡献也就更大。

特征对比度与直方图对比度之间的不同：

    这里衡量的是cluster的对比度，而直方图对比度衡量的是直方图的对比度；

    对比度测度只是三个显著性测度中的一个。

特征对比度测度的优点：

    cluster越是独特，cluster越是显著。

• 中心偏移测度Spatial Cue

    偏移测度的依据是：人类视觉系统中，图像中心区域往往能够在比其他区域更加吸引人的注意。当对象与图像中心之间的距离越大时，显著性也就越来越减小。在单张图像中，称为中央偏向准则(center bias rule)。本文作者对这个概念进行了扩展，将其扩展到基于聚类的方法上。聚类的重心偏移测度定义如下：

   

与单张图像中的中心偏移测度不一样的是，这里定义的是多张图像上的全局中央偏向性。

• 图间分布测度Corresponding Cue

图间分布测度主要用于衡量多张图像上的cluster的分布的。重复率描述了一个对象在多张图像上重复出现的频率，是反映协同显著性的一个重要的全局属性。首先采用一个具有M个bin的直方图来描述聚类在M张图像中的分布:

   

然后就可以定义图间分布测度:

   

在各个图像中分布越是均匀的cluster，对应的图间分布测度就越是大。

协同显著性图生成：

对单张图像而言，可以获得contrast cue map，spatial cue map，对于多张图像而言，既可以得到contrast cue, spatial cue，又可以得到corrsponding cue，因此总共可以得到5个cues，对这5个cues进行融合，就可以得到cluster级的协同显著性概率图:

     

其中。

co-saliency计算出来，相当于得到了离散的assignment，接下来对co-saliency值进行平滑，得到每一个像素的显著性概率。首先得到像素属于聚类的似然概率：

    

其中是像素x的特征向量，方差是聚类的方差。

最后计算每一个像素显著的概率：

   

6.实验

参数选择：

所用特征：CIE Lab颜色特征以及Gabor特征，共4维。Gabor特征的获取过程是：8个方向的Gabor特征，bandwidth为1，然后计算这8个滤波后的图像的幅值，即Gabor_img = sum(abs(Gabor_img).^2, 3).^0.5;  Gabor_img是（img_height*img_width）*8的矩阵。

单张图像的聚类：用K-means进行聚类，聚类的个数是

多张图像的聚类：，M是图像的总个数

测试数据集以及实验结果：

单张图像的测试数据集：MSRA1000，PR curve优于RC（Cheng Mingming cvpr 2011）

协同显著性计算的测试数据集：

Co-saliency Pairs dataset(H. Li, K. Ngan. TIP 2011), PR curve优于CO(K. Chang, CVPR 2011)， MS(H. Li, TIP 2011), PC(H. Chen, ICIP 2010)

CMU iCoseg dataset(D. Batra et al. IJCV 2011), PR curve优于CO.

7.应用

协同分割:

用bilayer segmentation方法在MSRC数据集上进行了测试，方法在segmentation accuracy优于（A. Joulin, CVPR 2010），略逊于(K. Chang, CVPR 2011)，但是本文方法的时间开销小，处理4张128*128的图像，(K. Chang, CVPR 2011)所用时间是40s，本文方法只需要5秒。

具有鲁棒性的图像测距

弱监督学习

视频前景提取