1、多源图像-多视角
超分辨率图像复原综述_真印良品_新浪博客 http://blog.sina.com.cn/s/blog_91991d6501018cjr.html
从多幅LR图像中得到HR图像:
信息,这样就不能为HR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移,那么它们彼此之间就不会相互包含,在这种情况下,每一幅LR图像都会为HR图像的复原提供一些不同的信息。为了得到同一场景的不同侧面,必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景,例如在轨道卫星一类可控制的图像应用中,这种场景运动是能够实现的;对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的,同时如果我们能够合成这些HR图像,那么SR图像复原是可以实现的。
多帧超分辨率的概念。左侧的网格表示具有子像素对齐的相同场景的LR图像,因此可以通过将补充信息与SR方法融合来获取HR图像(右侧的网格)。
图像超分辨率:技术,应用和未来 - 简书 https://www.jianshu.com/p/a36a333e8200
2、多来源
多源图像超分辨率重建研究 http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y2807120#
针对混合分辨率的多视角图像中的超分辨率重建问题进行了研究,提出了一种基于多视角立体深度信息融合的超分辨率重建算法。我们使用立体匹配算法在参考图像和相关低分辨率图像之间进行立体匹配以得到视差图像,然后以参考图像的视角为基准,从多组视差图像出发通过一种中值滤波融合处理得到所需深度图像的估计。
多图像超分辨率的深度学习 - 知乎 https://zhuanlan.zhihu.com/p/58286815
3、相关-多帧图像SR
多图像超分辨率重建利用的是多帧图像之间的互补信息,通过在更高分辨的网格中进行信息融合,从而得到细节更多、分辨率更高的图像。核心思想是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,超分辨率重建要求不同的图像具有不同的运动,而且这些运动中必须包含亚像素的位移,如果仅仅是整数单位的像素平移,那么每幅图像中都包含了相同的信息,这样就不能为SR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移,那么它们彼此之间就不会相互包含,在这种情况下,每一幅LR图像都会为HR图像的复原提供一些不同的信息。如下所示,同一个场景拍摄四张图像,分别用绿色,黄色,红色,蓝色代表,这四种颜色代表的像素不在同一个坐标点上,相互之间存在亚像素偏移,最终可以得到一张高分辨的图像。
这次只谈技术,不谈手机之超分辨率 https://baijiahao.baidu.com/s?id=1644780124398819403&wfr=spider&for=pc
传统的基于重建的超分辨率方法是利用多张图像进行超分辨率重建。由于多帧图像信息多,充分利用这些多帧图像间的相同相异的信息以及图像的先验知识进行重建。
基于重建的超分辨率方法只是对图像进行一般的先验模型建立没有考虑到图像的特殊性。
高斯模型对图像的不同区域都不加区别的进行平方惩罚,导致边缘丢失图像模糊;Gibbs模型也是会产生类似的边界模糊。
使用多帧信息的方法已经有十多年的历史, 在包括天文学领域。其基本概念被称为 "drizzle", 对从略微不同的位置拍摄的多个图像进行融合, 在 2x 低放大率下或 3x 而照明条件良好的情况下, 可以产生相当于光学变焦的分辨率。这就是多帧超分辨率算法, 通常的思路是将低分辨率连拍摄影的图像直接进行对齐, 然后合并到所需 (更高) 分辨率的像素网格上。以下是理想化的多帧超分辨率算法如何工作的示例:
每一帧图像水平或垂直移动一个像素, (多帧超分辨率算法) 可以从这些图像获得信息来填充缺失的颜色。
为了使算法可靠地处理具有复杂局部运动 (人, 车, 水或树叶移动) 的场景, 我们开发了一种鲁棒的模型, 用于检测对齐误差并将其减小。我们选择一个帧作为 "参考图像", 并当我们确定找到了正确的相应特征时才将来自其他帧的信息合并到其中。通过这种方式,我们可以避免诸如 "重影" 或运动模糊之类的伪像, 以及图像被错误融合的部分。
图像配准用于多张小图融合并超分辨率放大:
图像配准(对齐) : 用于多张图像融合/超分辨率放大/图像拼接/目标识别等_Machine.Eye_新浪博客 http://blog.sina.com.cn/s/blog_c190cb710102vsr4.html
【转载自】
如何通过多帧影像进行超分辨率重构?_qq_42031483的博客-CSDN博客 https://blog.csdn.net/qq_42031483/article/details/89410454
超分辨学习之一___超分辨率复原_Swimmy_GY的博客-CSDN博客 https://blog.csdn.net/Swimmy_GY/article/details/50535588
Pixel 3的超分辨变焦技术_LiveVideoStack-CSDN博客 https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/83422610