[发明专利]多线索引导的无人机热红外图像超分辨率重建方法及系统

说明书

本发明提供多线索引导的无人机热红外图像超分辨率重建方法及系统，方法包括：提取可见光图像及热红外图像中的线索特征；将已得到的线索送入多线索引导模块中，以产生不同的特征；三种线索送入渐进式融合模块进行融合；通过对融合的特征图进行上采样，得到高分辨率无人机热红外图像。本发明解决了大规模图像超分辨率重建的场景下纹理信息恢复困难、图像纹理恢复错误、纹理恢复真实性低、恢复细节较少的技术问题。

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及多线索引导的无人机热红外图像超分辨率重建方法及系统。

背景技术

热成像对光照条件不敏感，因此在智能城市、森林防火、气体泄漏和农业生产等方面有着广泛的应用。然而，由于传感器的尺寸限制。在广泛应用热成像的无人机平台上，获取高分辨率的热红外图像非常困难。图像分辨率不足已成为限制对无人机热红外图像理解的一个关键问题。为此，需要对无人机的热红外图像进行超分辨率重建。图像超分辨重建技术(Super Resolution,SR)，即从给定的低分辨率图像中恢复出高分辨率(HighResolution,HR)图像，具备较高的实用价值和广阔的应用前景。

现有的单幅图像超分辨率重建方法采用迭代反向投影法以及基于卷积神经网络(CNN)的上采样方法。例如公布号为CN114926337A的现有发明专利申请文献《基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统》该方法以CNN和Transformer混合网络作为单幅图像超分辨率重建的深度网络，将低分辨率图像输入到CNN和Transformer混合网络，混合网络输出重建的高分辨率图像。前述现有方法对X2和X4的超分辨率重建取得了一些效果。然而，由于低分辨率图像所包含的信息有限，在进行大规模图像超分辨率重建时，这些单一图像超分辨率重建方法很难恢复相应的纹理信息，则在一定程度上无法满足无人机平台下的热红外图像超分辨率重建的需要。

为了产生更好的重建结果，最近的研究在图像超分辨率重建过程中使用引导信息来补充低分辨率图像中缺失的纹理。导引图像超分辨率重建方法使用网络从可见光和热图像中提取特征，最后使用CNN融合它们来迁移可见光图像的纹理。这些方法在手持相机拍摄的图像上取得了很大进展，并且大部分无人机也配备了带有多个传感器的摄像头来捕获可见光图像与热红外图像，例如公布号为CN115131207A的现有发明专利申请文献《一种水下图像的超分辨率重建方法及水下机器人终端》控制光学相机和深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；采用Canny算法提取所述深度图像的边缘轮廓；对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。本发明采用光学相机和深度相机分别拍摄原始水下图像和深度图像，将深度图像作为原始水下图像的引导，实现水下图像的超分辨率重建，从而增强水下图像的分辨率以得到高分辨率的水下图片，但是前述现有技术在解决无人机热红外图像的超分辨率重建问题时，由于无人机本身的成像原理，获得高分辨率可见光图像相较于高分辨率热红外图像更易获得，导致它们无法充分利用无人机平台的可见光线索，往往会恢复错误的纹理。

综上，现有技术存在大规模图像超分辨率重建的场景下纹理信息恢复困难、图像纹理恢复错误、纹理恢复真实性低、恢复细节较少的技术问题。

发明内容

本发明所要解决的技术问题在于如何解决大规模图像超分辨率重建的场景下纹理信息恢复困难、图像纹理恢复错误、纹理恢复真实性低、恢复细节较少的技术问题。

本发明是采用以下技术方案解决上述技术问题的：多线索引导的无人机热红外图像超分辨率重建方法包括：

S1、对无人机热红外图像与GT图像进行特征抽取，以得到热红外图像特征、可见光图像线索特征；