[发明专利]基于图注意力机制的多光谱与全色图像融合方法及系统

权利要求书

1.基于图注意力机制的多光谱与全色图像融合方法，其特征在于，包括：

获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；

将多光谱图像特征图和全色图像特征图输入深度神经网络模型；

采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；

将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像；

所述将多光谱图像特征图和全色图像特征图输入深度神经网络模型包括：将低空间分辨率的多光谱图像输入到构建的深度神经网络模型，得到多光谱图像特征图；同时将高空间分辨率的全色图像输入到构建的深度神经网络模型，得到全色图像特征图；

将多光谱图像特征图与全色图像特征图进行堆叠处理，得到第一特征图；

基于第一特征图提取多通道的第二特征图，基于第二特征图构造无向完全图，采用图注意力机制算法计算无向完全图各个边的权重；基于各个边的权重数值与第一特征图相结合，重建卷积网络，得到第三特征图；将第三特征图与第一特征图相加得到第四特征图；对第四特征图进行卷积处理，输出融合后的高空间分辨率的多光谱图像；

其中，所述得到第三特征图的具体过程包括：

依次从第一特征图x的第2、3个维度提取第二特征图n为通道数或滤波器数，再对第二特征图xⁱ求均值得到将xⁱ当做节点，构造无向完全图G，节点表示为X＝{xⁱ}；无向完全图G中边的权重通过下式计算：

其中，h和w表示特征图的高和宽，s_ij表示结点xⁱ和x^j之间的边权重矩阵；

将s_ij馈送到Softmax层，得到归一化的注意力分数，使用以下公式：

a_ij＝σ(s_ij)

其中，σ表示Softmax函数，a_ij表示归一化的注意力分数，将归一化的注意力分数a_ij与第一特征图x中的特征图相结合，得到第三特征图x'ⁱ；结合方式为：

2.根据权利要求1所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，采用双线性插值方法，将低分辨率的多光谱图像上采样为高空间分辨率的全色图像的大小。

3.根据权利要求1所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，基于高空间分辨率的全色图像和上采样处理的低分辨率的多光谱图像，构建训练样本集；其中每个训练样本，包括：一个高空间分辨率的全色图像和一个上采样处理的低分辨率的多光谱图像。

4.根据权利要求1所述的基于图注意力机制的多光谱与全色图像融合方法，其特征在于，所述深度神经网络模型包括：一条用于输入低分辨率的多光谱图像的分支网络和一条用于输入高空间分辨率的全色图像的分支网络，将两条分支网络提取出的特征进行堆叠。