笔记-Handheld multi-frame super-resolution之一

1、文中反复强调的 Handheld Motion in subpixel Space 意在何处？

1）首先，超分辨的是指由一幅低分辨率图像或一组图像序列恢复出高分辨率图像的技术。Essentially, 超分辨率重建的核心思想是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,converting time resolution into highly spatial resolution。

2）然后，what kinds of premises do a burst of LR images require? Typically, across the processing of SR, assuming that LR图像代表了同一场景的不同侧面，也就是说LR图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为SR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。以图1为例，亚像素的平移空间为超分辨率重建提供了条件。

图1 亚像素空间平移与超分辨重建的简单示意图

3）最后，“图像超分辨率重建技术与方法综述”的论文中指出，超分辨率重建要求不同的图像具有不同的运动，而且这些运动中必须包含亚像素的位移。如图2所示：

图2 不同A_i 表示像素间的位移是0.5个像素，即使用同样的3*3的CMOS阵列相机拍摄场景，但在平行于图像的平面位移0.5个像素，

移动方向可以是水平的或者垂直的。最后经过插值算法，将4幅LR合成为1幅SR image，图像分辨率变大。

To summary, displacement of LR images over subpixel space is a fundamental premise contributing to SR image.Therefore, the author deliberately elaborate that we show that using hand tremor alone is enough to move the device adequately during the burst acquisition.

 

2、Kernel Regression（核回归）

Wikipedia的解释是：

Kernel regression is a non-parametric technique in statistics to estimate the conditional expectation of a random variable. The objective is to find a non-linear relation between a pair of random variables X and Y.

In any nonparametric regression, the conditional expectation of a variable  relative to a variable  may be written:

 

where  is an unknown function.