[发明专利]多线索引导的无人机热红外图像超分辨率重建方法及系统

权利要求书

1.多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述方法包括：

S1、对无人机热红外图像与GT图像进行特征抽取，以得到热红外图像特征、可见光图像线索特征；

S2、构建并利用多线索引导模块MGM的引导层GL执行自注意力机制，增强不同线索中的信息，以得到增强线索特征，执行交叉注意力机制，在所述热红外图像特征中，嵌入所述增强线索特征，据以使用注意力机制进行引导，在每个所述引导分支得到相应线索引导特征；

S3、构建并利用渐进式融合模块PFM，融合所述语义线索引导特征以及所述边缘线索引导特征，以整合获取语义边缘互补信息特征，将所述语义边缘互补信息特征在所述外观引导分支上进行融合操作，以得到渐进式融合特征；

S4对所述渐进式融合特征进行上采样，以得到高分辨率热红外无人机图像，求取所述无人机热红外图像与所述GT图像之间的L1像素损失，据以训练预置MGnet网络，据以处理得到高分辨率无人机热红外图像。

2.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S1包括：

S11、使用预训练VGG-19网络，从所述原始图像提取外观引导深层特征；

S12、提取所述原始图像中的可见光图像的梯度图；

S13、使用PSPNet在Cityscapes数据集上进行预训练，从所述可见光图像中提取实例分割引导线索；

S14、利用浅层特征提取器，根据所述外观引导深层特征、所述可见光图像的梯度图以及所述实例分割引导线索，提取得到所述热红外图像特征。

3.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S2包括：

S21、利用不少于2个的引导分支，学习不同的所述热红外图像特征，以得到各线索的引导特征，其中，所述引导分支包括：语义线索引导分支、边缘线索引导分支以及外观引导分支；

S22、利用视觉变换器，根据所述注意力机制，将所述线索嵌入于每个所述引导分支，引导层GL利用自注意力机制增强不同的线索特征，以得到增强线索特征；

S23、利用交叉注意机制在热能表征中，嵌入所述增强线索特征，以在每个所述引导分支得到相应线索引导特征，其中，所述相应线索引导特征包括：语义线索引导特征、边缘线索引导特征。

4.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S21中，利用下述逻辑计算不同线索的所述引导特征：

Q＝XWQ,K＝XW K,V＝XWV

式中，W^Q、W ^K和W^V是由不同窗口之间共享的投影矩阵，X表示输入特征。

5.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S22中，利用下述逻辑求取注意力矩阵：

Attention(Q,K,V)＝softmax(QKT/pdk+B)V

式中，B是可学习的相对位置编码矩阵，dk是查询K的维度，Attention(-)表示多头自注意或多头交叉注意函数。

6.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S22中，所述引导层GL利用下述逻辑求取所述线索特征及输出特征：

式中，MSA和MCA表示多头自注意和多头交叉注意机制的功能，MLP和LN分别表示多层感知器和层归一化，x和z^l-1分别表示热特征和线索特征，和z^l表示MSA模块和MLP模块在第l层的输出特征，和z^l+1则分别表示MCA模块和MLP模块在第l+1层的输出特征。