[发明专利]一种基于变焦视频序列的图像超分辨率重建方法

说明书

技术领域

本发明涉及图像处理领域，特别是一种基于变焦视频序列的图像超分辨率重建方法。

背景技术

随着通信技术、高清电视等的发展，人们对高质量的图像要求越来越高。但在图像采集与处理过程中，许多因素会导致图像的质量下降。如传感器的尺寸，点扩散函数以及被拍摄物体的移动都能使图像模糊和变形。另一方面，在图像的存储和传输过程中，会引入不同的噪声，如高斯、椒盐噪声等。而在压缩图像中，会引入量化噪声。这些都会使图像频谱交叠而降质。

提高图像最直接的方法就是提高采集设备传感器的密度。但是这会显著增加成本，而且随着芯片尺寸的增加，会导致电容的增加和电荷转移速度的减小。解决这个问题的一种有效方法是利用信号处理的方法提高图像的分辨率，即图像的超分辨率重建。图像的超分辨率重建是图像处理的一个重要研究方向，它指利用一幅或几幅低分辨率图像，利用一定的重建算法获得一幅或多幅分辨率更高的图像。

发明内容

发明目的：本发明所要解决的技术问题是针对传统超分辨率重建方法不能较好解决低分辨率图像组存在尺度缩放的重建问题，提供一种基于变焦视频序列的图像超分辨率重建方法。

为了解决上述技术问题，本发明公开了一种基于变焦视频序列的图像超分辨率重建方法，包括以下步骤：

步骤一，拍摄一组焦距不同的低分辨率图像构成一个视频序列，将所有图像转为灰度图像并进行图像预处理，从中选定参考图像；

步骤二，使用尺度不变特征变换（SIFT）算法获得参考图像与其余未选定的低分辨率图像之间的匹配点对；

步骤三，使用随机抽样一致性算法（RANSAC）根据匹配点对计算参考图像与其余未选定的低分辨率图像之间的单应矩阵；

步骤四，使用最大后验概率（MAP）算法对参考图像进行超分辨率重建。

本发明中，优选地，所述步骤一中的一组低分辨率图像序列可通过改变摄像机的焦距拍摄获得，从这组图像序列中可选取任意一幅低分辨率图像作为参考图像，通常选取焦距最短的一幅；

所述图像预处理是在将图像转到灰度空间后，进行去噪等处理。

本发明中，优选地，所述步骤二中匹配点对是通过尺度不变特征变换（SIFT）算法获得，具体包含以下步骤：

步骤（21），通过计算图像金字塔中不同尺度下相邻两幅低分辨率图像之差，得到高斯差分尺度空间（DOG）。对每一个采样点，将其和它在同一尺度下的8个相邻点以及上下相邻尺度对应的各9个点共26个点比较，若其在相邻尺度空间及该尺度下的二维图像空间都检测到为极大值点或极小值点，就认为该点是图像在该尺度下的一个候选特征点。接着通过拟和三维二次函数以精确确定特征点的位置和尺度，从而达到亚像素精度，然后去除所有候选特征点中低对比度的特征点和不稳定的边缘响应点。

步骤（22），通过特征点相邻像素的梯度方向分布特性为每个特征点指定方向参数，从而使算子具备旋转不变性。优选地，可用直方图统计以特征点为中心的邻域像素的梯度方向。直方图的峰值代表特征点的主方向，而其它占有主峰值70%~100%能量的次峰值可视为该特征点的多个辅方向，从而增强匹配的鲁棒性。

步骤（23），将坐标轴旋转同特征点主方向，以特征点为中心取8×8的窗口，计算窗口内各像素的梯度幅值和方向。将窗口分为4个4×4的小块，并利用高斯窗口分块进行8方向梯度加权运算，产生4个种子点，生成特征描述子。

步骤（24），计算参考图像和其余未选定的低分辨率图像中各特征点的特征向量之间的欧式距离，从未选定的图像中查找与参考图像中每一特征点相距最近的两个特征点，若相距最近的特征点距离相对于另一特征点距离小于设定的阈值，通常设置在0.4到0.6之间，则认为这两个特征点为匹配点对。

本发明中，优选地，所述步骤三，首先随机选取4对匹配点并测试其不在同一直线，然后根据直接线性变换方法（DLT）计算两幅图像之间的单应矩阵，利用该单应矩阵计算其它输入匹配点对的距离，统计距离小于阈值（称为“内点”）的匹配点对数目，当“内点”数目大于阈值或数目恰为阈值且“内点”距离的均方差小于阈值时，保留该单应矩阵，否则更新参数，重新迭代计算。

本发明中，优选地，所述步骤四，首先确定观测模型，可认为低分辨率图像的像素由高分辨率图像中若干对应的像素加权得到，权值可通过高分辨率图像与参考低分辨率图像对应像素的个数及参考图像和其余未选定的低分辨率图像之间的比例关系确定。然后利用梯度法计算MAP算子目标函数的梯度，并计算最优步长，以参考图像的双线性或双三次插值结果为初值，迭代更新最终输出的高分辨率图像对应点的像素值。