此主要讨论图像处理与分析。虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以 及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些 也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己 所用，或者从中得到灵感，这就够了。
注意：Registration可翻译为“配准”或“匹配”，一般是图像配准，特征匹配(特征点匹配)。
15. Image Registration
图像配准最早的应用在医学图像上，在图像融合之前需要对图像进行配准。在现在的计算机视觉中，配准也是一个需要理解的概念，比如跟踪，拼接等。在KLT中，也会涉及到配准。这里主要是综述文献。
[1998 MIA] Image matching as a diffusion process
[1992 PAMI] A Method for Registration of 3-D shapes
[1992] a survey of image registration techniques
[1996 MIA] Multi-modal volume registration by maximization of mutual information
[1997 IJCV] Alignment by Maximization of Mutual Information
[1998 MIA] A survey of medical image registration
[2003 IVC] Image registration methods a survey
[2003 TMI] Mutual-Information-Based Registration of Medical Survey
[2011 TIP] HAIRIS: A Method for Automatic Image Registration Through Histogram-Based Image Segmentation
翻译
HAIRIS：一种基于直方图的图像分割自动图像配准的方法——
作者：Hernâni Gonçalves, José Alberto Goncalves, and Luís Corte-Real
摘要 -在多个领域，自动图像配准仍然是一个实际的挑战。尽管在最近几年中已经提出了几种自动图像配准的方法，但是它在诸如遥感等多种应用中仍然没有广泛使用。本文提出了一种基于直方图的图像分割(HAIRIS)自动图像配准的方法。这种新方法主要包括根据直方图模式轮廓上的松弛参数(这本身是一种新方法)，组合要配准的图像对的几个分割(其本身是一种新方法)，然后对提取的对象(通过对象)进行一致的表征面积，调整椭圆轴，周长和分形维数之间的比率，以及基于稳健的基于统计的对象匹配过程。说明了所提出的方法在模拟旋转和平移中的应用。第一个数据集包含一张照片以及同一张照片的旋转和移位版本，并具有不同程度的附加噪声。它也被应用于一对具有不同光谱内容和模拟平移的卫星图像，并应用于包括不同视角，不同采集日期和不同传感器的真实遥感示例。在大多数考虑的情况下，获得的旋转精度低于1，子像素级别的精度。 HAIRIS允许以旋转和平移差异，光谱内容差异很小的图像对(多时相和多传感器)配准，从而实现亚像素精度。
索引词-直方图，图像配准，图像分割，匹配，维纳滤波。
Ⅰ 引言
关于图像处理相关应用，自动图像配准(AIR)仍然是当前的挑战。关于图像配准方法的评论可以在[3]和[45]中找到。遥感应用是需要对AIR方法进行进一步研究的领域之一。在此范围内，存在特殊困难，因此适用于许多计算机视觉应用程序的AIR方法的性能将受到限制。
在自动图像配准方法范围内的刚体模型仍然是当前的研究课题[22]，特别是在遥感应用的范围内[2]，[40]。配准遥感图像的问题大致可以看作是平移和小旋转的确定。在计算机视觉应用的范围内，刚体变换似乎是使用许多现有方法解决的简单问题。但是，在遥感应用的范围内，主要问题之一与辐射含量有关(由于图像的多传感器或多光谱对)。此外，比例尺是众所周知的，因为大多数卫星图像都具有足够准确的比例尺信息，这是飞机在地形高度明显不同的区域飞行时的航空摄影例外。关于视角的差异，类似的评论可能适用，因为卫星图像是在600 km的高度上大致获取的，这是在先前提到的航空摄影情况下，航空摄影最需要的仿射或单应性。
在过去的30年中，关于主题图像分割的大量文章已经发表，涉及方法本身或它们在医学，遥感等多个领域的应用[10]，[32]，[33 ]，[38]，[43]。但是，关于图像处理的自动方法，图像分割(IS)仍然是一个实际的研究领域。 IS通常定义为将图像划分为多个区域的过程，每个区域都满足给定标准，该标准可以来自图像域和/或特征空间。从图像分割方法中，我们期望在视觉上检测到它们时提取出图像上存在的一组对象。换句话说，期望分割方法在识别场景上的物体方面充当人工智能。但是，根据我们期望的细节和功能，分割的目的可能是非常主观的。例如，在对人体图像进行分割时，人们可能会对将整个身体描绘为单个对象或其组成部分感兴趣，这可能会使自己变得非常主观。关于遥感应用，这方面可能会变得更加复杂[28]。
图像分割包括用于单色图像或彩色图像(或单个或多个卫星图像带)的多种方法[8]，[33]。它可以用于图像或视频应用程序，在后者或每个帧中单独使用。大多数图像分割方法可以根据其性质进行分类：直方图阈值化，特征空间聚类，基于区域的方法，边缘检测方法，模糊方法，神经网络，基于物理的方法以及这些方法的任意组合[8]。这些中的任何一个通常旨在将任何图像转换为二进制图像：对象和背景。
关于直方图阈值化，已经报道了几种方法。通常，基于直方图的图像分割包括三个阶段：识别直方图的模式，找到已识别模式之间的谷值并最终基于谷值将阈值应用于图像[7]。该领域发表的一些著作涵盖了基于均一性标准[7]的直方图曲线上的峰检测，基于判别分析的递归阈值技术[9]，双水平阈值的最大相关标准[42]，基于熵的[5]。 ，[21]，模糊集[41]等。
传统上，此类方法会寻找与图像上清晰可见的同质区域相关的峰(模式或局部模式)。大多数已知的方法都致力于单峰，双峰或多峰直方图分布，其中假定每种模式都对应于特定类别的对象。但是，这些方法不适用于其他应用程序，例如遥感，在简单的视觉检查之后，这种区别并不明显。模糊c-均值(FCM)和硬c-均值(HCM)解释了图像上存在不同类别的对象[34]。然而，这些基于模糊的方法需要先验信息，特别是需要对簇数的先前定义。此外，给出的结果说明了其在非常大的区域中描绘的能力，这对于诸如需要多个“控制点”的自动图像配准等应用是不够的。尽管也有多峰灰度直方图建模和分解的报道[4]，焦点再次依赖于最突出的模式，而忽略了直方图的其余部分。尽管已经报道了使用小波和自适应阈值技术来完成亮目标分割的工作，但实际上它是一种主要在双峰分布上寻找模态的方法[44]。
很少探讨使用图像分割作为图像配准的步骤[12]，[18]，[24]。梁等人的工作。 [24]能够处理刚体变换，包括将新的基于区域的相似性度量应用于通过多尺度分割算法获得的分割，然后采用Powell方向集优化方法在相似表面上找到峰值。给定的示例不包括加性噪声，也不包括遥感图像，众所周知，遥感图像与配准过程中的特殊困难有关。此外，它基于搜索方法，因此计算量很大。 Goshtasby等人的工作。作为主要贡献，提出了一种区域细化程序，以便获得最佳相似的相应区域。与[24]中一样，在[18]中显示的图像内容更容易产生更清晰的分割结果，因为所显示的MSS和TMS图像显示出相当好的对比度，从而导致更简单的分割和随后的配准。另外，[18]中的模拟噪声非常平滑，在某些示例中可以通过较大区域观察到，即使受到较大噪声水平的影响也不会受到影响。 Dare和Dowman [12]的工作是另一个例子，其中图像分割被用作图像配准的步骤。尽管作者声明他们的方法是全自动的，但实际上它需要进行初始的手动对齐，以消除比例和旋转上的明显差异[12]。此外，建议的分割方法更适合包含足够大且均匀的对象(例如大水体)的图像，对于其他数据集(例如城市环境中的卫星图像)的性能有限。
本文提出了一种通过基于直方图的图像分割(HAIRIS)进行自动图像配准的方法，该方法可以比传统方法进行更详细的基于直方图的分割，从而实现了精确的图像配准。 HAIRIS能够估计两个图像之间的旋转和/或平移，这些图像可能是多时相的，也可能是多传感器的，光谱内容之间的差异很小。
Ⅱ Harris描述
使用两个系统中多个点的坐标对来找到两个坐标系之间的关系是经典的摄影测量任务[19]。可以将两个笛卡尔坐标系之间的转换看作是刚体运动的结果，因此可以分解为旋转和平移[19]。
假设我们有一对相同比例的图像(相对于场景具有相同的像素大小)，并且两个图像之间存在平移和/或旋转差异，其中两个图像是“静态”(图像1 )，另一个(图像2)将被配准到“静态”图像上。假设(X，Y)是“静态”图像的坐标，而(P，L)是要配准的图像的(像素，线)对。转换可以写为[3]：
其中原点被视为“静态”图像的左上角，θ是方向差，
是两个图像之间的偏移。所提出的自动图像配准方法在图1中进行了示意性表示。它从预处理阶段开始，以减少图像内容上不必要的细节，这对于随后的基于直方图的图像分割阶段(包括松弛参数α)很重要。从分割阶段提取的对象根据一些相关属性进行表征和匹配，最终允许基于统计的旋转和平移参数估计。下面，解释HAIRIS涉及的几个步骤，其主要目的是估计θ，
和
。
图1. HAIRIS主要步骤流程图。
A.预处理
像素域上的细节过多可能会导致不良的分割结果。因此，建议在进一步处理之前先进行图像增强步骤。通过图像增强(其本身主要是主观过程)，旨在获得比原始版本少细节的图像，最接近人眼执行的“对象”标识。尽管恢复算法通常通常更数学，更复杂，但可以提供对图像详细特征及其降级的利用[25]。尽管图像恢复方法的主要目的是建模并消除退化，但这些方法也可以用于其他目的。由于使用图像分割的目的是提取对象(尤其是它们的边界)，因此可以将具有某种纹理的图像对象视为一种退化。因此，旨在消除这种劣化，该劣化被认为是附加的随机噪声。
在图像恢复方法[17]的范围内，维纳滤波器[25]是最常用的滤波器之一。但是，它也可以用于图像增强，目的是减少图像上的细节，因为它通常是低通滤波器，因此会引起明显的模糊效果。其频率响应H(w1，w2)由下式给出
其中Pf(w1，w2)代表原始图像功率谱，Pv(w1，w2)代表加性随机噪声功率谱。尽管可能有兴趣在图像上引起一些模糊，但是在整个图像中使用固定的(空间不变的)滤镜可能会降低对象边界的清晰度。因此，需要自适应图像恢复。 “逐像素处理”方法可能在计算上变得非常昂贵，这与“将子图像划分为一定数量的图块”的“逐子图像处理”相反。对于尺寸在8 * 8和32 * 32像素之间的子图像，通常考虑使用后者[25]。但是，由于使用维纳滤镜的目的与恢复的目的不同，因此建议考虑3 * 3像素的保守的最小可能正方形块(超出单个像素)。尽管后一种方法可能会引起所谓的“阻塞效应”，但对于低SNR的图像可能会忽略它。
回想累加随机噪声，我们通常没有先验信息，可以通过考虑测量特征(例如局部方差)来确定存在的高频细节，以克服这些先验信息。
由于我们有兴趣描绘物体的边界，因此维纳滤波器[25]的边缘敏感自适应图像恢复版本就足够了。该方法基于以下想法：通过级联的一维自适应滤波器，在边缘附近减少更多噪声，而不会造成边缘模糊。令Ti [.](1 <= i <= N)表示一维(空间变量)滤波器，其中N为4，代表与0°、45°、90°和135°角相对应的四个方向。然后，随后应用这些算子，这导致对某些2-D自适应恢复算法的性能的改进，并且通常会减少计算需求[25]。
另外，为了克服要配准的图像的直方图之间的显着差异，在应用维纳滤波器之前，使用图像1的直方图计数对图像2进行直方图均衡。以此方式，对图像2的维纳滤波既允许图像细节的减小，又允许直方图的平滑，这由于直方图均衡步骤而变得尖刻。
B.基于直方图的分割：模式描绘和图像分割
用于模式描绘的方法基于对直方图的连续斜率的分析。令(x(m))为图像直方图计数，m = 0,...,M和
连续斜率的序列，其中是直方图级别的数量(对于8-b图像，M = 255)。该方法背后的思想是选择一个适当的阈值，以考虑是否存在一种模式，该模式的特征在于斜率序列的显着增加和/或减少。如图2中的示例所示，一种模式的特征在于斜率序列的极高的正值和负值。因此，一种描述模式的明显且实用的解决方案是获得斜率序列的置信区间，其中通过存在于99％置信区间之外的斜率来检测模式的存在[图2(b)]。对于大多数最常见的8-b图像，基于t学生的均值置信区间就足够了，因为它对应于256个点，该点足够高于建议的最小30点[13]。为了通过置信区间的统计方法实现稳健的检测，需要对斜率进行预处理，以便在存在模式的情况下平滑斜率序列的不规则性(图2(b))，这可能会导致检测错误模式。该预处理是通过二阶低通巴特沃斯滤波器执行的，归一化截止频率为0.25，该频率响应如图2(c)所示。
图2：(a)是图4(a)中显示的图像的直方图，其中不同的叠加符号代表七个已识别模式。 (b)对应于(a)中的直方图的斜率序列(左侧)，在(c)所示的低通滤波器应用之前(上部曲线)和之后(下部曲线)，以及它们在频率中的表示 域(在右侧)。 叠加在滤波后的斜率序列上的极限(水平虚线)对应于99％置信区间(本文中的更多详细信息)。 (c)将低通滤波器的频率响应(H(ejw))应用于(b)中的原始斜率序列。
在图2中，显示了图4(a)中图像的直方图，其中大约可以看到七个模式。同样在同一图中，示出了直方图的连续斜率，其中从正斜率到负斜率的每个全局过渡与直方图上的模式相关联。
在模式轮廓上考虑了松弛参数(α)，理论上它是在空间[0,1]上定义的连续参数，在实践中必须经过离散化过程。包含此参数会导致获得几种不同的分割结果，从而使所提出方法的后续阶段更加可靠。
此外，对于直方图上仅检测到单一且清晰模式的情况，该参数的包含非常重要，如第三部分中针对卫星图像对所示。松弛参数(α)对应于直方图的高度比例(被认为对应于最高模式)，对于该最高值，低于该值，该模式将被视为“平坦”区域。以这种方式，该方法变得更加有用并且适用于多种情况。仅识别模式的常见方法对应于为α选择空值。
一旦针对每个α值识别出模式和“平坦”区域，就可以将每个间隔(模式或平坦区域)作为一个类别对图像进行分割。然后，对于每个类别，将4个连接的那些像素视为属于同一对象，从而最终完成图像的分割。
在某些情况下，可能会出现大量无数据(对于无符号8-b图像，DN = 0或DN = 255)，这可能会以某种方式掩盖直方图的形状。因此，应该在表示图像直方图之前丢弃那些相应的像素。
C.提取对象的表征
在分割阶段提取的对象具有四个属性，可以对其进行足够的形态描述：面积(Area)，周长(Perim)，轴比(ARat)和分形维数(Db)。
属性区域(Area)仅通过构成对象的像素数获得，而周长(Perim)是通过计算围绕该区域边界的每个相邻像素对之间的距离而获得的。这两个属性允许分别评估对象的大小和紧凑性。
主轴长度对应于具有与物体相同的归一化第二中心矩的椭圆的主轴长度，也可以从椭圆长轴得到短轴长度。长轴和短轴长度之间的比率导致属性ARat(轴比率)。 ARat属性允许根据对象的窄或宽性质对其进行表征。
尽管前面描述的三个度量包括对象表征的最一般方面，但是在对象匹配阶段仍然存在一些不确定性。
因此，需要考虑一种补充属性，该属性考虑物体形状的特殊复杂性：分形维数。分形维数是数学家提出的几种维数概念之一。
在这项工作中，算计维数(Db)是Mandelbrot分形维数的特殊形式之一，被认为是分形维数[27]。它通常由一条直线的斜率组成，拟合到散点图中，分别在垂直和水平轴上具有log(N(s))和log(1 / s)，其中s是覆盖的网格的网格大小 N是包含对象像素的网格框的数量。
先前描述的四个属性用于对象匹配的后期。对于相应的对象，这四个属性应该是相似的。如HAIRIS说明书的开头所述，假设这对图像在旋转(θ)和平移(和)方面有所不同。因此，为了允许一对图像的配准，需要具有取向和定位指示器。关于方位，对于每个提取的对象，存储与对象具有相同的第二矩的椭圆的x轴和主轴之间的角度。关于平移，还存储了每个对象的质心(对象的质心)。
D.匹配
匹配步骤开始于对两个图像考虑的α值的每种可能组合，在通过两个图像的分割获得的对象的每种可能的2比2组合之间，评估成本函数。
这导致具有n1行和n2列的矩阵，其中n1和n2分别对应于从图像1和2中提取的对象的数量。根据图像1和2中的对象的属性值评估的成本函数(γ)定义如下：
其中，
是图像1和2值的每个属性的平均值。以这种方式定义的γ，它允许考虑的属性的归一化和，并因此允许它们的和。
然后，以箱形图的形式表示γ值，该图像导致对应于水平(“分类”)轴的分割对象数量减少。两个对象之间的有效匹配应导致γ值较低，与大多数值相距足够远。可以通过箱线图表示中使用的离群值检测标准进行统计评估，如果点小于q1-k *(q3-q1)，则将其视为离群值(关于较小的值)，其中q1和q3是第一和第三四分位数[15]。尽管通常将k视为1.5，但在此步骤中需要更灵活的值1(在实践中也通常使用)，以减少最终匹配候选者的损失。该离群值检测的过程应用于水平轴上图像的每个对象。图3示出了已经被匹配的两个区域的示例以及四个属性的值。
图3： 图7中显示的图像片段，其中(a)对应于带1，而(b)对应于带2的模拟位移。 重叠(白色)是从分割阶段获得的两个对象的边界，它们已经被匹配。 来自(a)中对象的属性值X为(1759、2.66、647.7、1.12)，来自(b)中对象的属性值
为(1685、2.67、555.2、1.09)。
图4：(a)从数码相机获取的较大场景中提取的尺寸为768 * 512像素的8-b图像。 (b)从与(a)相同的较大场景中提取的图像，分别在水平和垂直轴上移动60和40像素，然后旋转θ= 30°。
E.旋转估计：
旋转和平移是在统计基础上确定的。给定匹配对象候选集，表示提取的对象方向差异的直方图。
这允许检测模态类别，从而限制旋转的可能值的集合。然后，在这些旋转候选中，通过考虑旋转候选的频率并根据前述箱形图离群值检测的过程，通过考虑旋转候选的频率并找到绝对频率对应于较高离群值的旋转值，来执行寻找的鲁棒策略。该过程导致对θ的鲁棒估计。
F.翻译估计：(，)
一旦获得，则仅考虑与所获得的旋转相对应的初始匹配候选。然后，考虑与旋转估计中遵循的类似过程以获得和。这种基于统计的过程还可以对和进行可靠的估计，如下一节所述。
Ⅲ HAIRIS的应用
在本节中，将在以下情况下对HAIRIS性能进行评估：模拟旋转和平移，相同的模拟旋转和平移，不同水平的高斯白噪声添加到要配准的图像中，以及模拟和真实示例中遥感应用。对于每个图像，考虑到参数α的值的范围为0％到100％，以20％，10％和5％的步长变化，以便对参数α进行灵敏度分析。结果是使用MATLAB Release 2009b在具有Intel Core 2 6400 2.13 GHz处理器和2.0 GB物理内存的计算机上获得的。
A.模拟旋转和平移
为了说明HAIRIS应用，考虑了用数码相机拍摄的尺寸为768 * 512像素的8-b图像[图4(a)]。为了获得评估HAIRIS性能的已知基础，模拟了水平轴和垂直轴上分别平移60个像素和40个像素，然后旋转θ= 30° 的情况[图4(b)]。如附录中所示，当旋转的图像向后旋转相同角度时，在图像上会有附加的平移效果，其中a = wsin2(θ)和b = wcos(θ)sin(θ)。因此，该方法应实现的和值分别为252.0和292.7。
应用HAIRIS之后，对于三种考虑的α分辨率(20％，10％和5％)，我们都获得了正确的θ值，并且对于关于和的相同的三种考虑的分辨率，我们也获得了亚像素精度(表1)。
表1：通过hairis应用获得的，和值(以及相关的计算时间)，适用于第III-A，III-B和III-C节中描述的示例的配准，其中α的步长为20％，10％和5％ 。 III-A和III-B的参考(θ，，)值分别为(30°，252.0，292.7)。 III-C的对1、2和3的参考(θ，，)值分别为(0°，60，40)，(0°，3.88，-0.39)和(0°，-20.75+-2.77，-3.38+-0.70)。不包括与为III-A执行的参考图像分段相关的时间
B.模拟旋转和平移并增加噪声
为了评估HAIRIS在存在噪声的情况下的鲁棒性，通过模拟将高斯白噪声添加到先前小节中考虑的未校正图像中，考虑了几种噪声级别[图4(b)]。假设图4(b)中图像的标准偏差为45(不包括由模拟旋转引起的背景区域)，则高斯白噪声的标准偏差为图像标准的10％，20％，50％和100％模拟了偏差(图5)。
图5.在图4(b)中表示的图像，加上σ等于(a)10％，(b)20％，(c)50％和(d)100％的白色高斯噪声 图像标准偏差。
表1列出了通过HAIRIS获得的关于四种考虑的噪声水平的，和值。HAIRIS正确估计了旋转值(除了在一种情况下的小误差，表1)，在处估计了。对于三种考虑的分辨率α(表1)，在几乎所有情况下，子像素值的误差都小于0.5像素，并且误差较小，但仍可以精确地估计。在图6中显示了以10％的分辨率记录的噪声水平为50％的图像配准。
图6.(a)将图4(a)中的原始图像与模拟的旋转和平移版本进行配准，并在50％的水平上添加噪声[图5(c)]，α分辨率为10％。 (b)图4(a)中原始图像的直方图。 (c)图5(c)中图像的直方图，省略了DN = 0，以便可视化其余直方图。
C.遥感示例：模拟和真实情况
第一个遥感示例包括从传感器Landsat / ETM +(图7)获取的一对葡萄牙西北地区尺寸为512 * 512像素的卫星图像。第一个图像是通过从频段1(0.45-0.515 um)中选择较大场景的一部分获得的，而第二个图像是从频段2(0.525-0.605 um)中相同的较大场景中选择的，已知偏移为60和水平和垂直轴分别为40像素。从表1中显示的结果可以看出，对于和，HAIRIS正确估计了θ，并导致精度高于0.30像素(子像素级)。
图7.(a)由传感器ETM +从Landsat 7卫星获取的较大场景的波段1中提取的尺寸为512 * 512像素的8-b图像。 (b)从与(a)相同的较大场景的波段2中提取的尺寸为512 * 512像素的8-b图像，在水平和垂直轴上分别偏移60和40像素。 对呈现的图像进行对比度拉伸，以实现更好的可视化效果。
第二个示例包含葡萄牙西北地区航空照片的绿色带的512 * 512像素段(初始空间分辨率为0.5 m，重采样为2.5 m)，以及512 * 512像素段由传感器ALOS-PRISM图像(图8)采集的来自同一区域的全色图像，具有产品的初始近似几何校正部分(空间分辨率为2.5 m)。通过识别六个共轭点，手动获得了这两个图像之间的位移，从而导致旋转的空值差异以及水平轴和垂直轴上的差异分别为3.88像素和-0.39像素。同样在此示例中，HAIRIS正确估计了θ，从而获得了和的子像素精度(表1)。
图8.(a)航空摄影的绿色带，尺寸为512 * 512像素(空间分辨率为2.5 m)。 (b)从由与(a)相同的较大场景的ALOS-PRISM传感器获取的较大场景中提取的，尺寸为512 * 512像素(空间分辨率为2.5 m)的全色8-b图像，其偏移约为 通过手动识别的六个共轭点的平均值分别获得水平轴和垂直轴上的3.88和-0.39像素。
第三个示例包含一个覆盖正视照片的绿色带的512 * 512像素的片段，该片段覆盖了波尔图的部分城市(初始空间分辨率为0.5 m，重采样为1 m)，以及512 * 512像素的片段由传感器IKONOS(图9)采集的来自同一区域的全色图像，具有产品的初始近似几何校正部分(空间分辨率为1 m)。这些图像之间的时间差异约为一年，在此期间可以观察到重大变化，例如新建筑物(图像的左侧)。此外，除了传感器之间的差异外，还可以清楚地看到不同视角的效果(IKONOS图像是在20°左右的视角下获取的)，这与明显的阴影效果相关(图9)。这对图像中的所有这些差异使得该示例非常难以配准(图9)。通过很难识别六个共轭点，可以手动获得这两个图像之间的位移。这些共轭点之间的水平偏移范围为-16.25和-23.25(平均值为-20.75，标准偏差为2.77)，而垂直偏移范围为-2.25和-4.25(平均值为-3.38，标准偏差为0.70)。这些差异由前面提到的一组重要差异来解释。通过最小二乘法，在这对图像之间并考虑了六个已识别的结合点，发现零旋转。同样在此示例中，尽管这对图像中包含了所有困难，但考虑到参考值的平均和标准偏差，HAIRIS还是得出了可接受的结果(表1)。
图9.(a)尺寸为512 * 512像素(空间分辨率为1 m)的正射照片的绿带。 (b)从由与(a)相同的较大场景的IKONOS传感器获取的较大场景中提取的尺寸为512 * 512像素(空间分辨率为1 m)的全色8-b图像，通过手动识别的六个共轭点的平均值分别在水平轴和垂直轴上移动约-20.75+-2.77和-3.38+-0.70像素。
D. HAIRIS与其他方法的比较
为了建立将HAIRIS与其他AIR方法进行比较的基准，已经考虑了两种流行的AIR方法：尺度不变特征变换(SIFT)[26]和基于轮廓的方法[14]，[23]。由于前一种方法(作者的实现)提供了一组共轭点，因此参数θ，和通过最小二乘法[29](一旦保证了冗余)并根据(1)进行估算。我们认为距离比等于0.6，因为[26]中建议的值为0.8导致照片和遥感图像的最差结果。
后一种方法的实现允许考虑RST转换(而不仅仅是RT)，并且已经考虑了默认参数。将这两种方法应用于先前考虑的图像对获得的结果在表2中列出，包括相关的计算时间。
可以看出，HAIRIS总体上优于SIFT和基于国家的方法，尤其是在遥感示例中。尽管SIFT在计算机视觉应用范围内是一种功能强大的方法，但对于遥感图像，其性能却相当有限[30]，[39]。此外，在完全AIR方法的范围内，它对与距离比相关的参数的依赖是不受欢迎的属性[26]。基于轮廓的方法[14]，[23]通常表现出最差的性能。尽管这是一种非常快速的方法，但是它无法导致更复杂的情况，例如明显存在噪声或多传感器图像对(表2)，而HAIRIS已准确记录了这些复杂图像对(表1)。尽管HAIRIS的计算时间较长(主要与分割阶段有关)，但值得一提的是我们在MATLAB中实现了HAIRIS(基于轮廓的方法实现是基于C ++的，速度更快)，并且代码远非如此。由于在该方法的实验状态下产生了多个输出，因此可以进行优化。此外，它显示出能够记录涵盖广泛情况(多时间，多传感器和有噪声)的成对图像。
表2：通过hairis应用获得的III和A，III-B和III-C节中描述的示例的配准中获得的，和值(以及相关的计算时间)，其中α分别为20％，10％和5％。 III-A和III-B的参考(θ，，)值分别为(30，252.0，292.7)。 III-C的对1、2和3的参考(θ，，)值分别为(0、60、40)，(0°，3.88，-0.39)和(0°，-20.75+-2.77，-3.38+-0.70)。不包括与为III-A执行的参考图像分段相关的时间
IV 讨论和结论
在[3]和[45]中可以找到各种各样的自动图像配准方法。在几种应用中，配准模型仅假设旋转和平移[22]，其中卫星图像的配准就是一个例子[2]，[40]。本文提出了一种通过基于直方图的图像分割(HAIRIS)自动进行图像配准的新方法，通过将这两个主要的图像处理领域结合起来，具有明显的优势。由于HAIRIS不需要任何搜索间隔来进行旋转或平移，因此它是全自动过程。
通过过滤步骤(所提出方法的重要预处理阶段)，目标是变换原始图像，以便利用人类视觉系统的心理物理方面。维纳滤波器是其他几种可能的替代方案之一。所建议的维纳滤波尽管具有相关的缺点，但对于本文中考虑的各种示例而言，已证明是足够的。与建议的维纳滤波相关的唯一参数是本地邻域的大小，我们的选择表明该邻域的大小足以满足大量示例。尽管自适应恢复算法比非自适应算法需要更多的计算，但它们通常比非自适应恢复算法性能更好。
还测试了其他几种过滤器，它们来自不同的过滤器类别。中值滤镜是最常用的滤镜之一，它会产生原始图像的模糊版本。结果，超出了预期的细节缩减范围，有时会丢失图像上对象之间的区别，因为这会导致整个图像(包括对象限制)上的明显平滑。对于所考虑的示例，我们还详尽测试了各向异性扩散的应用[35]。但是，各向异性扩散显示出对参数选择(传导系数，迭代次数和生成尺度空间的函数)敏感。特别是，不可能找到适合所有已考虑示例的一组参数(或明确规则)。由于HAIRIS是一种全自动图像配准方法，因此与对错误选择参数敏感的预处理步骤不兼容。
鉴于小波对不同情况下几个参数的依赖性更高，因此尚未考虑使用其他方法，例如小波，这与自动图像配准方法不兼容。
尽管在实践中可以找到各种各样的直方图形状，但是经常会出现单模或多模直方图，这加强了模态描绘的重要性。本文提出的模式描绘方法，使用直方图连续斜率序列，是一种可靠的方法，可以精确地描绘出直方图上的模式。所考虑的非参数方法(主要基于直方图连续斜率分析)已证明是有效的。在极少数情况下，直方图上可能不存在任何模式，或者几乎无法检测到该模式。在这些特定情况下，解决方案可能在模式描述之前经过直方图变换。可以通过统计方法(例如峰度测量[13])对这些病例进行客观的识别。
通过多种方法，例如熵[37]，层次聚类分析[1]等，有几篇论文致力于选择直方图上单个或多个模式的适当阈值。尽管大多数已知的分割方法在某些应用程序中效果很好，但是包含不太明显的物体的图像(例如遥感应用程序)却会表现出较低的性能。
该方面导致考虑本文中提出的松弛参数(α)的兴趣，考虑到后部图像配准过程，该参数可实现更有效的基于直方图的分割。这种替代方法显示是足够的，避免了仅适用于特定直方图形状的替代方法，例如假设一个[36]或两个单变量总体，甚至通过指示器指示来关注图像中体素的常见不完全分配，例如[ 31]。
基于直方图阈值的图像分割方法是较简单的方法之一。尽管此类方法可能存在一些局限性，但它的优点是较少地依赖于参数的选择，这在诸如HAIRIS之类的全自动过程的范围内是最大的要求。特别地，所提出的方法允许以某种方式减少使用直方图阈值化的一些限制。实际上，这是HAIRIS的优势之一，正如所提供的示例所支持的那样，其中一对具有完全不同的直方图的图像被精确配准。所提出的直方图阈值化方法不能被认为是传统的直方图阈值化。通过提议的“模式描绘和图像分割”阶段，基于可能检测到的几种模式的几种分割水平会导致一组提取的对象，这些对象在HAIRIS的后续阶段进行组合时，会导致健壮且准确的配准适用于各种实际情况(由所提供的结果支持)。
所提出的方法基于在两个图像中检测闭合的相似区域。考虑到要配准的这对图像在光谱内容方面存在有限的差异，因此即使对于对比度较低的区域，通常也可以在两个图像中检测到相似的区域(如图3所示)。此外，HAIRIS的一个重要特征是通过考虑松弛参数α的取值范围，可以在不同级别进行分割。这样可以避免“多次分割”，从而可以使初始匹配的后续阶段更加稳健。此外，应注意，封闭区域是一个主观概念。例如，河流的分割可以看作是一条线，但也可以视其宽度而被视为封闭区域。
对参数α进行了敏感性分析，这表明，正如预期的那样，参数空间的较高分辨率导致更好的结果。取得这一成就的原因之一是，它不可避免地导致旋转和平移参数的确定更加可靠，因为它们是在统计基础上确定的。当比较在10％的分辨率和5％的分辨率之间获得的结果时，这也可能证明结果准确性有些“饱和”。因此，对于几种情况，参数的分辨率为10％可能已足够。
旋转和平移值的确定是一种基于统计的过程，它是一种有关图像配准方法的新方法，该方法显示出一种健壮且有意义的过程。这是有可能的，因为它与基于直方图的图像分割的新方法相结合，共同导致了一致的结果，如在不同情况下(噪声水平不同和频谱内容的受控差异)所显示的结果所示。
尽管最近提出了一套客观评估几何校正过程质量的措施[16](在卫星图像配准的范围内特别重要)，因为HAIRIS的最终结果是两者之间的旋转和平移差值这两个图像，而不是一组共轭点，所提及的一组度量将不会给HAIRIS性能评估带来额外的价值。关于自动图像配准方法性能的评估，它仍然缺少类似于Berkeley数据集的数据集，该数据集在图像分割方法方面得到了广泛使用。有了这样的数据集，它将有助于进行通用比较并传达每种图像配准方法的局限性和能力。
对于比本工作中包含的图像更大的图像，将图像划分为图块可能是合适的，因为图像内容上的差异太大可能会难以应用建议的方法。考虑将图像划分为图块的限制可能取决于几个因素，例如图像内容等。此外，将较大的场景划分为多个图块，并将每个图块的中心视为匹配点，则可以校正比刚体变换更强的变形。
大多数已知的图像配准方法都适用于定义良好的点对，主要是在无噪声的图像上和/或与背景可以明显区分的对象。借助所提出的方法，我们能够在一定程度上处理这些困难，正如所提供的结果所证明的那样。
直方图形状可能会根据应用程序的上下文而有很大不同。因此，对于弛豫参数本身具有不同值的分割概念在纯图像分割应用程序的几种应用程序中可能会变得有用，因为它允许观察多组对象，这可能导致比实际结果更有意义的结果。基于“直方图”的“刚性”分割方法。
最受欢迎的图像配准方法是基于相关系数[3]，[20]，[45]的方法，其中图像的较小部分用作其他图像上的窗口，以寻求最大的相关性。尽管它们适用于某些情况，但是当要配准的图像对之间存在方向差异(对于较大的图像，单个1°的差异可能会变得很明显)时，可能会导致不存在极强的相关性最大值。互助信息[6]，[11]，[20]，[45]在最近几年也变得很流行，但在传统的最大搜索范围内，也无法处理明显的轮换效应。相似面。
我们已经将HAIRIS与SIFT [26]和基于轮廓的方法[14] [23]进行了比较，它们是自动图像配准中最流行的方法之一，在准确性和计算时间方面。据观察，HAIRIS总体上优于SIFT和基于国家的方法，尤其是在遥感示例中。 HAIRIS的主要缺点是计算时间，主要与分割阶段有关。但是，期望在将来优化实现代码以提供更快的性能。
在这项工作中，HAIRIS一次应用于单波段图像。但是，将来，将多光谱(或超光谱)光谱图像充分转换为单波段图像(例如主成分分析，独立成分分析等)肯定会带来更好的结果，而不是使用图像的信息。单光谱带。
所提出的图像配准方法即使在存在大量噪声的情况下也能获得准确的结果。此外，在具有不那么明显的物体的图像的应用范围内(如遥感图像的情况)，HAIRIS已显示在一对像素范围内正确记录一对图像，覆盖了广泛的情况(包括多时相和多传感器)。
附录
参见图10。
图10.图像向后旋转引起的平移
参考文献
[1] A. Z. Arifin and A. Asano, “Image segmentation by histogram thresholding using hierarchical cluster analysis,” Pattern Recognit. Lett., vol.27, pp. 1515–1521, 2006.
[2] Y. Bentoutou, N. Taleb, K. Kpalma, and J. Ronsin, “An automatic image registration for applications in remote sensing,” IEEE Trans.Geosci. Remote Sens., vol. 43, no. 9, pp. 2127–2137, Sep. 2005.
[3] L. G. Brown, “A survey of image registration techniques,” Comput.Surv., vol. 24, no. 4, pp. 325–376, 1992.
[4] J. H. Chang, K. C. Fan, and Y. L. Chang, “Multi-modal gray-level histogram modelling and decomposition,” Image Vis. Comput., vol. 20, pp. 203–216, 2002.
[5] C. I. Chang, Y. Du, J. Wang, S. M. Guo, and P. D. Thouin, “Survey and comparative analysis of entropy and relative entropy thresholding techniques,” IEE Proc.-Vis. Image Signal Process., vol. 153, no. 6, pp.837–850, 2006.
[6] H. Chen, P. K. Varshney, and M. K. Arora, “Performance of mutual information similarity measure for registration of multitemporal remote sensing images,” IEEE Trans. Geosci. Remote Sens., vol. 41, no. 11, pp. 2445–2454, Nov. 2003.
[7] H. D. Cheng and Y. Sun, “A hierarchical approach to color image segmentation using homogeneity,” IEEE Trans. Image Process., vol. 9, no.12, pp. 2071–2082, Dec. 2000.
[8] H. D. Cheng, X. H. Jiang, Y. Sun, and J. Wang, “Color image segmentation: Advances and prospects,” Pattern Recognit., vol. 34, pp.2259–2281, 2001.
[9] M. Cheriet, J. N. Said, and C. Y. Suen, “A recursive thresholding technique for image segmentation,” IEEE Trans. Image Process., vol. 7, no.6, pp. 918–921, Jun. 1998.
[10] G. B. Coleman and H. C. Andrews, “Image segmentation by clustering,” Proc. IEEE, vol. 67, no. 5, pp. 773–785, May 1979.
[11] T. M. Cover and J. A. Thomas, Elements of Information Theory.Hoboken, NJ: Wiley, 1991.
[12] P. Dare and I. Dowman, “An improved model for automatic featurebased registration of SAR and SPOT images,” J. Photogram. Remote Sens., vol. 56, pp. 13–28, 2001.
[13] E. Dudewicz and S. Mishra, Modern Mathematical Statistics.Hoboken: Wiley, 1988.
[14] D. Fedorov, L. M. G. Fonseca, C. Kenney, and B. S. Manjunath, “Automatic registration and mosaicking system for remotely sensed imagery,” in Proc. Image Signal Process. Remote Sens. VIII, 2003, vol.4885, pp. 444–451.
[15] M. Frigge, D. C. Hoaglin, and B. Iglewicz, “Some implementations of the boxplot,” Amer. Statist., vol. 43, no. 1, pp. 50–54, 1989.
[16] H. Gonçalves, J. A. Gonçalves, and L. Corte-Real, “Measures for an objective evaluation of the geometric correction process quality,” IEEE Geosci. Remote Sens. Lett., vol. 6, no. 2, pp. 292–296, Apr.2009.
[17] R. C. Gonzalez and R. E. Woods, Digital Image Processing. Upper Saddle River, NJ: Prentice-Hall, 2002.
[18] A. Goshtasby, G. C. Stockman, and C. V. Page, “A region-based approach to digital image registration with subpixel accuracy,” IEEE Trans. Geosci. Remote Sens., vol. GE-24, no. 3, pp. 390–399, May 1986.
[19] B. K. P. Horn, “Closed-form solution of absolute orientation using unit quaternions,” J. Opt. Soc. Amer. A, Opt. Image Sci., vol. 4, no. 4, pp.629–642, 1987.
[20] J. Inglada and A. Giros, “On the possibility of automatic multisensor image registration,” IEEE Trans. Geosci. Remote Sens., vol. 42, no. 10, pp. 2104–2120, Oct. 2004.
[21] J. N. Kapur, P. K. Sahoo, and A. K. C. Wong, “A new method for gray-level picture thresholding using the entropy of the histogram,” Comput. Vis. Graph. Image Process., vol. 29, no. 3, pp. 273–285, 1985.
[22] G. Lazaridis and M. Petrou, “Image registration using the walsh transform,” IEEE Trans. Image Process., vol. 15, no. 8, pp. 2343–2357, Aug.2005.
[23] H. Li, B. S. Manjunath, and S. K. Mitra, “A countour-based approach to multisensor image registration,” IEEE Trans. Image Process., vol. 4, no. 3, pp. 320–334, Mar. 1995.
[24] Z. P. Liang, H. Pan, R. L. Magin, N. Ahuja, and T. S. Huang, “Automated image registration by maximization of a region similarity metric,” Int. J. Imag. Syst. Technol., vol. 8, no. 6, pp. 513–518, 1997.
[25] J. S. Lim, Two-Dimensional Signal and Image Processing. Upper Saddle River, NJ: Prentice-Hall, 1990.
[26] D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” Int. J. Comput. Vis., vol. 60, pp. 91–110, 2004.
[27] B. B. Mandelbrot, “Self-affine fractals and fractal dimension,” Physica Scripta, vol. 32, no. 4, pp. 257–260, 1985.
[28] P. Masson and W. Pieczynski, “SEM algorithm and unsupervised statistical segmentation of satellite images,” IEEE Trans. Geosci. Remote Sens., vol. 31, no. 3, pp. 618–633, May 1993.
[29] E. M. Mikhail, J. S. Bethel, and J. C. McGlone, Introduction to Modern Photogrammetry. Hoboken, NJ: Wiley, 2001.
[30] A. Mukherjee, M. Velez-Reyes, and B. Roysam, “Interest points for hyperspectral image data,” IEEE Trans. Geosci. Remote Sens., vol. 47, no. 3, pp. 748–760, Mar. 2009.
[31] W. Oh and W. B. Lindquist, “Image thresholding by indicator kriging,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 21, no. 7, pp. 590–602, Jul. 1999.
[32] P. Orbanz and J. M. Buhmann, “Nonparametric bayesian image segmentation,” Int. J. Comput. Vis., vol. 77, pp. 25–45, 2008.
[33] N. R. Pal and S. K. Pal, “A review on imagem segmentation techniques,” Pattern Recognit., vol. 26, no. 9, pp. 1277–1294, 1993.
[34] S. K. Pal, A. Ghosh, and B. U. Shankar, “Segmentation of remotely sensed images with fuzzy thresholding, and quantitative evaluation,” Int. J. Remote Sens., vol. 21, no. 11, pp. 2269–2300, 2000.
[35] P. Perona and J. Malik, “Scale-space and edge detection using anisotropic diffusion,” IEEE Trans. Pattern Anal. Mach. Intell., vol.12, no. 7, pp. 629–639, Jul. 1990.
[36] P. L. Rosin, “Unimodal thresholding,” Pattern Recognit., vol. 34, pp.2083–2096, 2001.
[37] P. Sahoo, C.Wilkins, and J. Yeager, “Threshold selection using renyi’s entropy,” Pattern Recognit., vol. 30, no. 1, pp. 71–84, 1997.
[38] J. Serra, “A lattice approach to image segmentation,” J. Math. Imag.Vis., vol. 24, pp. 83–130, 2006.
[39] B. Sirmaçek and C. Ünsalan, “Urban-area and building detection using SIFT keypoints and graph theory,” IEEE Trans. Geosci. Remote Sens., vol. 47, no. 4, pp. 1156–1167, Apr. 2009.
[40] S. Suri and P. Reinartz, “Mutual-information-based registration of TerraSARX and Ikonos imagery in urban areas,” IEEE Trans. Geosci. Remote Sens., vol. 48, no. 2, pp. 939–949, Feb. 2010.
[41] O. J. Tobias and R. Seara, “Image segmentation by histogram thresholding using fuzzy sets,” IEEE Trans. Image Process., vol. 11, no. 12, pp. 1457–1465, Dec. 2002.
[42] J. C. Yen, F. J. Chang, and S. Chang, “A new criterion for automatic multilevel thresholding,” IEEE Trans. Image Process., vol. 4, no. 3, pp.370–378, Mar. 1995.
[43] Y. Zhang, M. Brady, and S. Smith, “Segmentation of brain MR images through a hidden markov random field model and the expectationmaximization algorithm,” IEEE Trans. Med. Imag., vol. 20, no. 1, pp. 45–57, Jan. 2001.
[44] X. P. Zhang and M. D. Desai, “Segmentation of bright targets using wavelets and adaptive thresholding,” IEEE Trans. Image Process., vol.10, no. 7, pp. 1020–1030, Jul. 2001.
[45] B. Zitová and J. Flusser, “Image registration methods:Asurvey,” Image Vis. Comput., vol. 21, no. 11, pp. 977–1000, 2003.