[发明专利]一种基于特征处理的图像信息融合及超分辨率重建方法

说明书

本发明公开了一种基于特征处理的图像信息融合及超分辨率重建方法，属于图像处理技术领域。本发明首先将高分辨率参考图像输入到图像预处理模块，得到低分辨率参考图像。其次将低分辨率输入图像、高分辨率参考图像和低分辨率参考图像输入到特征处理模块，该模块对输入图像进行特征处理，实现高分辨率参考图像和低分辨率输入图像的特征信息匹配、转移和融合，得到融合特征图像。最后将低分辨率输入图像和融合特征图像输入到超分辨率重建模块，得到最终的超分辨率重建图像。本发明采用图像的特征信息而非像素信息来进行信息匹配和融合，可以充分地利用高分辨率参考图像所携带的丰富细节纹理信息，进而有效提升低分辨率输入图像超分辨率重建质量。

技术领域

本发明属于图像处理技术领域，具体涉及到一种基于特征处理的图像信息融合及其超分辨率重建方法。

背景技术

超分辨率重建是一种通过对低分辨率图像(分辨率低于某个指定值)进行处理来得到高分辨率图像(分辨率高于某个指定值)的技术。按照输入图像的数目来分类，可以分为基于单图的超分辨率重建算法和基于多图的超分辨率重建算法。

基于单图的图像超分辨率重建算法直接利用输入的低分辨率图像的信息来进行重建。这种方法简洁易行，但由于输入的低分辨率图像本身包含的信息有限，因此这种方法重建出来的图像质量也是受限的。

为了克服上述缺陷，在条件允许的情况下，高分辨率的参考图像可以被引入到超分辨率重建算法中，将高分辨率图像包含的丰富的纹理细节信息融合到低分辨率图像上，进而提升超分辨率重建的质量。这就是基于多图的超分辨率重建算法的基本原理。

为了得到比较理想的超分辨率重建效果，高分辨率参考图像需要与待处理的低分辨率输入图像有着较高的相似度。与此同时，高分辨率参考图像和低分辨率输入图像之间的信息匹配和融合算法对最终的超分辨率重建效果有重大影响。要提高基于多图的超分辨率重建算法的重建质量，需要将高分辨率参考图像所包含的信息准确地与低分辨率输入图像的信息进行匹配，并且将两者信息有效融合。这样才能充分发挥高分辨率参考图像在超分辨率重建中的指导作用，进而提高超分辨率重建质量。

然而，目前现有的方法都是直接使用图像的像素信息来进行信息匹配和融合。由于高分辨率参考图像和低分辨率输入图像之间分辨率和清晰度存在明显区别，再加上两者的时空差异，因此基于像素信息的信息匹配和融合算法存在误匹配概率高、匹配效率低下、超分辨率重建效果差等问题。这些问题制约着基于多图的超分辨率重建算法的性能和稳定性。

发明内容

本发明的发明目的在于：针对现有的基于多图的超分辨率重建方法的不足和缺陷，提出了一种基于特征处理的图像信息融合及其超分辨率方法，有效提升低分辨率输入图像超分辨率重建质量。

本发明的基于特征处理的图像信息融合及超分辨率重建方法，包括以下步骤：

对高分辨率参考图像和低分辨率输入图像(待重建图像)进行图像预处理：

对高分辨率参考图像进行下采样，得到与低分辨率输入图像的清晰度相匹配的低分辨率参考图像；并对低分辨率输入图像和低分辨率参考图像进行相同的上采样；

对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，得到高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对得到的特征图进行图像信息匹配、转移和融合处理：

将高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图进行分块处理；

遍历低分辨率输入特征图中的每个子块，在低分辨率参考特征图中搜索第一最优匹配特征子块，并基于高分辨率参考特征图与低分辨率参考特征图之间的空间映射关系，基于第一最优匹配特征子块的图像位置确定当前子块在于高分辨率参考特征图的第二最优匹配特征子块；

基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组处理，得到重组特征图像；