[发明专利]基于总广义变分的红外图像多传感器超分辨率重建方法

说明书

技术领域

本发明涉及一种红外图像处理技术，具体涉及一种利用高分辨率可见光图像引导低分辨率红外图像进行超分辨率重建的方法，属于红外图像超分辨技术领域。

背景技术

红外图像反映场景的辐射特性，这种特性能为多个应用领域提供有价值的信息，如军事侦察和远程控制等，但与可见光图像相比，红外图像边缘模糊并且缺少纹理信息，直接由红外传感器获取的红外图像空间分辨率有限，因而从红外图像中直接提取足够的信息比较困难。提高红外图像的空间分辨率是一个亟待解决的问题。

为了解决红外图像存在的上述问题，人们首先是从硬件方面进行研究，试图通过研制高密度小像元尺寸的红外焦平面器件来解决上述问题，但在现有技术条件下，研制高密度小像元尺寸的红外焦平面器件还有一定困难，且研制成本较高、研制效率低。鉴于此，科研人员从算法理论方面进行探索，通过软件提高红外图像的分辨率。软件研究方面，一种具有前景的方法是利用信号处理技术由低分辨率图像获得高分辨率图像，称这种方法为超分辨率技术。目前的超分辨率技术主要分为三大类：1）基于插值的超分辨率技术，即利用己知邻近像素的灰度值来产生待插值像素的灰度值，以此获得高分辨率图像。该技术重建的高分辨率图像在边缘等不连续处质量较差。2）基于重构的超分辨率技术，该技术对图像的退化过程建模，利用低分辨率图像和特定的图像退化模型对高分辨率图像的重建过程进行约束，得到高分辨率图像。该技术存在先验知识少、重建图像的效果改进潜力不大等问题。3）基于学习的超分辨率技术，该技术构造低分辨率和高分辨率图像样本库,通过学习样本库得到低分辨率图像和高分辨率图像的内在联系,从而指导图像的超分辨率重建过程，获得高分辨率图像。该技术中样本库的训练过程计算复杂度较大。以上传统的图像超分辨率重建方法本身存在缺点，并且多是利用同一种传感器获得的图像进行重建，然而同一种传感器获得的图像信息有限，不能提供更加全面的可利用的图像信息，因此基于传统方法所重建的高分辨率红外图像的质量欠佳。 

发明内容

针对软件方面由低分辨率红外图像重建高分辨率红外图像技术的现状与不足，本发明的目的旨在提供一种基于多传感器技术的红外图像超分辨率新方法，以此改善传统图像超分辨率技术的缺点，并且使得重建获取的高分辨率红外图像的边缘细节清晰，从一定程度上弥补红外图像自身固有的缺陷。

同场景可见光图像与红外图像之间存在很强的相关性和互补性，可见光图像边缘细节清晰，并且可见光成像系统获得的图像分辨率较高，这些正是红外图像很难具备重要特征。超分辨率技术方面，正则化方法因其解决由低分辨率图像重建高分辨率图像时有效求得优化解而得到广泛关注。本发明的基本思想是利用高分辨率可见光图像引导低分辨率红外图像进行超分辨重建，并且结合正则化方法获取优化的高分辨率红外图像。基于此基本思想，本发明提出一种基于多传感器技术和图像正则化超分辨率技术来获取高分辨率红外图像的新方法。

本发明结合相同场景的两种不同传感器获得的图像，利用正则化方法获取高分辨率红外图像的技术方案为：首先利用红外图像来构造数据项；其次由相位一致性算法提取可见光图像边缘信息，利用一阶梯度算子改进总广义变分(TGV)正则化模型，得到改进的TGV正则项；然后利用可见光图像的边缘信息对改进的TGV正则项加权，得到最终的正则约束项；最后采用一阶主-对偶优化算法求得最优解，最优解即为优化重建的高分辨率红外图像。

本发明提供的基于多传感器技术的红外图像超分辨率方法，具体内容主要包括以下步骤：

（1）将低分辨率红外图像的像素点均匀扩散到高分辨率可见光图像的坐标空间，得到稀疏的红外图像，并由此稀疏的红外图像求出数据项的加权系数；

（2）对步骤（1）得到的稀疏红外图像进行归一化处理，得到归一化的红外图像；

（3）依据相位一致性算法提取高分辨率可见光图像的边缘，获得高分辨率可见光图像的高频边缘信息； 

（4）由步骤（1）得到的数据项加权系数和步骤（2）得到的归一化红外图像构造数据项；

（5）将步骤（3）得到的边缘信息对一阶梯度算子改进的TGV正则项加权，得到正则约束项；

（6）将步骤（4）得到的数据项和步骤（5）得到的正则约束项相加作为本发明获取高分辨率红外图像的目标函数，利用步骤（2）得到的归一化红外图像作为初始值，采用主-对偶优化算法迭代求解目标函数，获得高分辨率红外图像。

本发明的上述技术方案中，步骤（1）由稀疏的红外图像求出数据项加权系数的具体规则为：在稀疏的红外图像没有像素点覆盖的坐标点处系数值为0，否则为1。