[发明专利]基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法

权利要求书

1.一种基于3D卷积的多尺度注意力深度卷积网络的遥感图像融合方法，其特征在于，包括以下步骤：

步骤一：获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；

对于测试数据集中的样本，对样本中多光谱图像进行上采样处理，以达到与全色图像相同的尺寸；然后将全色图像进行级联复制，以获得与多光谱图像波段数相同的全色图像立方体；

对于训练数据集，将训练数据集中的所有全色图像进行下采样，以达到与训练数据集中多光谱图像相同的尺寸；然后将下采样后得到的全色图像进行复制级联操作，以获得与多光谱图像波段数相同的全色图像立方体；其中复制级联操作指，首先将全色图像进行复制，数量为多光谱图像波段数，然后将所有的复制图像在波段维度上进行级联，以获得一个全色图像立方体；

步骤二，将训练数据集的样本输入到3D多尺度注意力深度卷积网络模型，以获得多光谱图像与全色图像立方体的融合结果并且利用模型中的重建块，对模型中间图像进行重建输出：

其中，是模型在第i层尺度上获得的特征图，R(·)是模型对应尺度的重建块，是第i层重建块得到的中间尺度的图像，为模型最终的重建图像；

所述的重建块包括：

步骤3.1，通过3D多尺度注意力深度卷积网络模型，获得第i层的低级语义特征以及对应层的高级特征通过卷积获得当前层的网格注意图公式为：

其中，W和b分别为权重和偏置，σ₁为ReLU激活函数；

步骤3.2，与进行相乘，获得对应的高级语义信息公式为：

其中，σ₂为sigmoid激活函数，为逐特征图相乘，为获得的当前层的高级语义信息；

步骤3.3，对和进行级联，之后通过卷积进行特征提取，以获取第i层的高级特征级联公式为：

其中，cat(·)为级联操作；

提取特征公式为：

其中，MASC_i(.)表示卷积操作；

步骤3.4，通过独立的对应层重建块，以重建第i个尺度下的多光谱图像，重建公式为：

其中，代表卷积计算；

步骤三；采用随机梯度下降算法，利用训练数据集对步骤二的3D多尺度注意力深度卷积网络模型进行训练，直至收敛，以得到融合模型；

利用双三次插值对参考图像进行下采样，获得各个中间图像对应尺寸大小的图像Y_i：

Y_j＝(Y_i-1),＝2,3,…,

其中，D(·)为下采样操作，Y_j为模拟第j个尺度的中间图像，Y_j-1为模拟第j-1个尺度的中间图像，Y₁为参考图像；

在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，模型的损失函数为：

其中，λ为尺度信息的权重，l₁为损失函数，l_j为第j尺度下的损失函数；I为缩放尺度的数量；

步骤四：针对于某场景的待融合全色图像和多光谱图像，根据步骤一所述的上采样，利用步骤三经过训练后得到的融合模型，得到最终融合图像。

2.如权利要求1所述的方法，其特征在于，步骤一所述的进行上采样与下采样处理，以及复制级联的方法，包括以下步骤：

步骤2.1，在训练数据集中，采用插值方法对原始多光谱图像和全色图像进行间隔为4的下采样；之后利用双三次插值，对下采样后的多光谱图像进行上采样4倍，获得与下采样全色图像尺寸相同的低分辨率的多光谱图像；

步骤2.2，对于步骤2.1中已下采样好的全色图像，通过复制的方式，获得与多光谱波段数相同数量的图像集，之后在光谱维度上进行级联，获得一个h×w×c的数据立方体，即：

其中，k∈c,c为多光谱图像的波段数量，k表示数量c的第k个波段数；P_HR为原始的全色图像；

步骤2.3，对于测试数据集中，对全色图像进行与步骤2.1和步骤2.2中相同的下采样操作和复制级联操作。