[发明专利]一种基于半误差反向投影的超分辨率重建方法及装置

说明书

本发明公开了一种基于半误差反向投影的超分辨率重建方法，该方法包括步骤：获得M帧实际观测图像；计算初始的高分辨率图像；根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像；对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像，计算t+1次迭代的实际观测图像与模拟观测低分辨率图像之间的误差；反向投影误差或者实际观测图像到高分辨率图像中；结果满意后停止迭代。该方法可以有效地减少“振铃”伪影的累积效应，使得重建的高分辨率图像有更好的质量和视觉体验。还公开了一种基于半误差反向投影的超分辨率重建装置。

技术领域

本发明涉及图像及视频数据处理领域，特别涉及一种基于半误差反向投影的超分辨率重建方法及装置。

背景技术

对于同一场景来说，更高分辨率的图像包含更多的细节。无论是从应用角度还是从视觉体验的角度来说，都期望获得高分辨率的图像。然而在现实中，许多因素导致无法获得高分辨率的图像。这些因素非常多，比如由于成本控制，导致购得的摄像机不够好；或者在某些特定场景下，不能获得高分辨率的图像。这些因素也包括大气湍流，运动模糊，系统响应函数和噪声等。成像经过这些因素影响，常常获得的图像的分辨率不高，这样的图像被称之为低分辨率图像。然而，生产生活中迫切需要获得高分辨率场景的图像。如果通过更新硬件设备来提高图像质量，在许多情况下常常带来巨大成本。

一种有效的方法是通过软件来实现从低分辨率图像获得高分辨率图像。这类技术被称之为超分辨率图像重建。这些方法可以被分为基于插值的方法和基于最优化的方法。基于插值的方法是非迭代的，由于没有利用误差来修改前面的估计，结果会比基于最优化方法的差。尽管基于最优化的方法得到图像的分辨率更高，但是这种方法要么有运算时间很长，要么效果较差(比如，存在伪影)。其中反向迭代投影方法是计算量小，被广泛利用。这种方法的基本思路是，将低分辨率图像进行上采样放大，作为高分辨率的估计；然后将高分辨率估计，下采样得到模拟的低分辨率图像，再将实际观测的低分辨率图像与模拟观测低分辨率图像之间的误差投影到高分辨率图像中去，不断迭代获得高分辨率图像。然而这种方法有很大的缺点就是在重建的高分辨率图像的边缘部分，常常会带有“振铃”伪影。这种“振铃”伪影会严重影响视觉体验，使得它的应用范围受限。

发明内容

(一)要解决的技术问题

为了克服现有技术中存在的问题，本发明提出一种基于半误差反向投影的超分辨率重建方法及装置。

(二)技术方案

根据本发明的一个方面，提出了一种基于半误差反向投影的超分辨率重建方法，该方法包括步骤：

步骤1，获得M帧实际观测图像X_rl，M大于等于2，所述图像存储在一个四维数组中X_lr(i,j,k,m)，其中i,j分别是低分辨率图像像素值的横纵坐标，k是图像的通道信息，m是图像的帧数；

步骤2，计算初始的高分辨率图像Y_hr,0；

步骤3，根据实际观测图像及初始高分辨率图像，得到第t+1次迭代的高分辨率图像为Y_lhr,t+1(p,q,k)，对高分辨率图像进行模拟观测，获得相应的模拟观测低分辨率图像X_sl，t大于等于0；

步骤4，计算t+1次迭代的实际观测图像X_rl(i,j,k)与模拟观测低分辨率图像之间的误差X_diff,t+1(i,j,k)；

步骤5，反向投影误差或者实际观测图像X_rl到高分辨率图像Y_hr中；

步骤6，令t＝t+1，重复步骤4至步骤6，直到获得满意的结果。