[发明专利]低分辨率红外图像重建高分辨率红外图像的方法

说明书

技术领域

本发明涉及红外图像处理技术领域，具体涉及一种将低分辨率红外图像转变成高分辨率红外图像的方法。

背景技术

红外图像反映场景的辐射特性，这种特性能为多个应用领域提供有价值的信息，如监视和远程控制等，但与可见光图像相比，红外图像的质量不令人满意，主要表现在边缘模糊和缺少纹理，空间分辨率有限，所以从红外图像中直接提取足够的信息比较困难。因此提高红外图像的空间分辨率是一个亟待解决的问题。

为了解决红外图像存在的上述问题，人们首先是从硬件方面着手进行研究，试图通过制作高密度小像元尺寸的红外焦平面器件来解决上述问题，但在现有技术条件下，制作高密度小像元尺寸的红外焦平面器件还有一定困难，且成本较高。鉴于此，科技人员改变研究方向，从算法理论方面进行探索，通过软件提高红外图像的分辨率。在软件研究方面，一种具有前景的方法是利用信号处理的方式从单帧或者多帧低分辨图像中获得高分辨图像，称这种方法为超分辨(Super-Resolution,SR)的技术。目前的超分辨技术主要分为两大类：1)基于重建的超分辨，该技术主要是通过对图像的退化过程进行建模，利用低分辨率图像和特定的图像退化模型对高分辨率图像的重建进行约束，得到高分辨率图像。该方法存在先验知识少、重建效果改进潜力不大等问题。2)基于学习的超分辨，是指在高分辨率样本图像的辅助下，对单幅低分辨率图像进行重建，恢复出高分辨率图像。这两种传统的图像重建方法多是利用同一个传感器得到的图像，然而单个传感器获取的图像信息有限，不能提供更加丰富的可利用的图像信息，因此，基于此所重建的红外图像空间分辨率仍不高。

发明内容

针对低分辨率红外图像重建高分辨率红外图像技术的现状与不足，本发明的目的旨在提供一种基于多传感器的低分辨率红外图像重建高分辨率红外图像的新方法，以清晰红外图像边缘，丰富红外图像纹理，提高红外图像的分辨率。

可见光(CCD)图像与红外(IR)图像之间存在很强的相关性和互补性，可见光图像边缘清晰，并且可见光成像系统所成图像分辨率较高，这些正是红外图像很难具备重要特征。本发明的基本思想是借助高分辨率可见光图像来提高红外图像分辨率，基于本发明的基本思想，提出一种利用高分辨率的可见光图像边缘信息提高红外图像分辨率的方法，即基于多传感器的红外图像超分辨方法。

本发明利用高分辨率可见光图像提高红外图像分辨率的主要技术路线为，首先根据纹理掩蔽的自适应边缘提取算法分别提取红外图像和可见光图像的边缘，并根据相似性将提取的边缘分类为相关边缘和非相关边缘，其次利用红外图像与可见光图像在边缘上的二次仿射变换关系对红外图像高频细节进行估计，最后利用迭代反向投影法(IBP)优化得到重建的高分辨率红外图像。

本发明提供的基于多传感器的低分辨率红外图像重建高分辨率红外图像的方法，具体内容主要包括以下步骤：

(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像；

(2)根据自适应边缘提取算法，分别提取同场景由步骤(1)得到的高频细节模糊的高分辨率红外图像和由可见光传感器得到的可见光图像的边缘；

(3)将步骤(2)提取的同场景红外图像和可见光图像的边缘，根据相关系数分类为相关边缘和非相关边缘；

(4)在步骤(3)得到的相关边缘基础上建立红外图像和可见光图像的二次仿射变换关系模型，根据所建模型结合可见光图像和红外图像的相关边缘对红外图像进行高频估计，得到红外图像的高频细节；

(5)将步骤(4)得到的红外图像高频细节与步骤(1)得到的边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此为基础进行多次反向投影迭代，得到重建的高分辨率红外图像。

在本发明的上述技术方案中，步骤(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行不少于2倍的上采样。上采样的倍数越多越好，但计算的工作量会增大。

在本发明的上述技术方案中，步骤(2)采取下述自适应边缘提取算法提取图像的边缘：

1)分别计算可见光图像和红外图像像素的梯度加权平均值的最大值；

2)由得到的梯度加权平均值的最大值分别计算可见光图像和红外图像边缘强度。

在本发明的上述技术方案中，步骤(3)中用于对图像边缘进行相关性分类的所述相关系数可采用归一化互相关算法来测定。归一化互相关算法具体可采取下述公式进行计算：