[发明专利]基于混合卷积网络遥感图像时空融合方法

权利要求书

1.基于混合卷积网络遥感图像时空融合方法，其特征在于，包括以下步骤：

(1)对遥感图像数据集中的图像进行预处理；

(2)将处理后的图像输入网络，对输入的多波段图像进行裁剪和拆分，将其拆分为单波段160×160图像；

(3)将拆分后的LST₀各单波段图像馈入2D-CNN提取空间特征；

(4)将拆分后的t0时刻Modis图像MDS₀，t1时刻Modis图像MDS₁和t0时刻Landsat图像LST₀的单波段图像一同输入到3D-CNN以同时提取空间和时间特征，通过时空融合模块将双分支分别提取到的特征进行融合；

(5)将之前波段中学习到的空间及光谱特征融入下一波段，通过光谱空间特征融合，重建相邻单波段特征以及单波段图像；

(6)将重建完成的各波段图像通过concat模块联合起来得到LST₁预测图像。

2.根据权利要求1所述基于混合卷积网络遥感图像时空融合方法，其特征在于：步骤(1)所述预处理包括对图像进行裁剪。

3.根据权利要求1所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述步骤(3)及所述步骤(4)进行时间空间特征提取后利用时空特征融合模块完成单波段特征重建，通过二维卷积完成第一波段图像重建。

4.根据权利要求1或3所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述步骤(5)具体包括将第一波段中学习到的F₁^SSF空间及光谱特征融入下一波段，通过空间光谱特征融合，重建第二波段特征，同样通过二维卷积完成第二波段图像重建；之后重建各波段图像的方法和第二波段类似。

5.根据权利要求4所述基于混合卷积网络遥感图像时空融合方法，其特征在于：重建各波段特征结果如下公式所示：

F₁ⁱ表示t₁时刻重建的第i波段特征，C代表concatenation操作，f_2D(·)和f_3D(·)分别代表双分支的2D卷积和3D卷积操作，ω₁和ω₂分别代表两个分支的权重，P表示Pme操作，B表示遥感图像总波段数。

6.根据权利要求1或5所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述重建各波段图像如以下公式所示：

式中Conv_1×1(·)，Conv_3×3(·)分别表示使用1x1和3x3卷积核进行点积操作，Spa(·)表示经过空间注意力模块。