[发明专利]一种图像融合方法、系统及其应用

权利要求书

1.一种图像融合方法，其特征在于：所述方法包括如下步骤：

步骤1：提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；

步骤2：提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；

步骤3：将所述第一空间信息与所述第二空间信息进行融合得到空间特征；

步骤4：对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率。

2.如权利要求1所述的图像融合方法，其特征在于：所述提取多光谱图像的第一高通信息包括对输入的多光谱图像进行上采样，使得所述多光谱图像与全色图像大小相同，然后采用高通滤波提取所述上采样多光谱图像的第一高通信息；所述提取全色图像的第二高通信息包括采用高通滤波提取全色图像的第二高通信息。

3.如权利要求2所述的图像融合方法，其特征在于：所述第一高通信息通过采用均值滤波提取所述上采样多光谱图像的第一低通信息，然后将所述上采样多光谱图像减去所述第一低通信息；所述第二高通信息通过采用均值滤波提取所述全色图像的第二低通信息，然后将所述上采样多光谱图像减去所述第二低通信息。

4.如权利要求1所述的图像融合方法，其特征在于：所述第一空间信息采用卷积神经网络提取，所述第二空间信息采用卷积神经网络提取。

5.如权利要求1所述的图像融合方法，其特征在于：所述对所述空间特征进行重建包括采用U-Net网络对所述空间特征进行重建；采用长跳跃连接，通过光谱映射将所述上采样多光谱图像和所述全色图像传递到空间重建图像中得到高空间分辨率和高光谱分辨率图像。

6.一种图像融合系统，其特征在于：包括依次连接的特征提取模块、注意力特征融合模块和图像重建模块；

所述特征提取模块，用于获取原始图像的高通信息，然后提取图像特征得到特征图；

所述注意力特征融合模块，用于对所述特征图进行融合；

所述图像重建模块，用于从融合后的图像中重建出高空间分辨率图像。

7.如权利要求6所述的图像融合系统，其特征在于：所述图像重建模块包括长跳跃连接子模块，所述长跳跃连接子模块用于将图像光谱信息传递到空间重建后与重建了空间信息的图像进行融合。

8.如权利要求6所述的图像融合系统，其特征在于：所述系统采用l1作为损失函数进行训练，所述l1损失函数为：

其中，N是小批量训练样本的数量，和是PAN图像和低分辨率的MS图像，Y⁽ⁱ⁾是相应的高分辨率的MS图像，θ是Attention_FPNet网络的参数。

9.如权利要求6所述的图像融合系统，其特征在于：所述注意力特征融合模块为：

其中，X1，X2表示两个输入特征，Z∈R^C×H×W表示融合特征，表示由通道注意力模块M得到的权重，由0到1之间的实数组成，对应图2中的虚线，由0到1之间的实数组成，表示广播加法，表示逐元素相乘。

10.一种图像融合方法的应用，其特征在于：将权利要求1～5中任一项所述的图像融合方法应用于遥感影像pansharpening问题。