[发明专利]基于双向特征迭代融合的遥感图像场景分类方法

权利要求书

1.基于双向特征迭代融合的遥感图像场景分类方法，其特征在于，包括以下步骤：

(1)构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；

(2)搭建一个以ResNet34模型为基础的网络；遥感图像数据作为网络的输入，将输出尺寸大小相同的卷积层划分为同一阶段；

ResNet34模型共有5个阶段，各阶段记为S1、S2、S3、S4、S5，后四个阶段分别包含3、4、6、3个基本模块BasicBlock；Conv2_3、Conv3_4、Conv4_6、Conv5_3分别代表相应阶段最后一个BasicBlock的卷积输出；

(3)构建双向特征迭代融合结构，包括Top-Down、PostProcessor、Down-Top三个子模块；Top-Down子模块中包括4路特征降维支路、4个相邻语义特征融合结构；在每个特征融合结构后连接一个PostProcessor子模块，内部包含2个Residual子块，各子块分别包含4个残差层；Down-Top子模块中包括4个空间特征融合结构；

(4)将ResNet网络除第一阶段外各阶段的输出特征作为双向特征迭代融合结构的输入特征，即，将模型Conv2_3、Conv3_4、Conv4_6、Conv5_3的输出特征作为双向特征迭代融合结构的输入特征；通过Top-Down子模块的4路特征降维支路，分别对输入特征进行特征降维，降维后生成的特征图记为C₂、C₃、C₄、C₅；

(5)将降维后的特征图输入带归一化权重的Top-Down子模块的相邻语义特征融合结构，在该结构中对相邻特征图进行互相融合特征、补充语义信息，分别生成对应相同尺寸但语义增强的特征图A₂、A₃、A₄、A₅；

Top-Down模块的相邻语义特征融合方法如下：

双向特征迭代融合中的相邻语义特征融合结构，包括三路输入，分别是Level_k+1、Level_k、Level_k-1，对应的是高级别、当前级别、低级别的不同分辨率的特征图；

高级别特征图使用上采样、低级别特征图使用降采样、当前级别使用恒等变换使三者能够相加融合；

使用根据权重归一化方法为三者分配权重后进行带权重的逐元素相加操作，得到对应语义信息增强后特征图：

其中，代表当前级别特征Level_k对应的相同尺寸的输出特征，代表归一化后的权重；

(6)将初步增强的特征图A₂、A₃、A₄、A₅，分别输入对应的PostProcessor结构内部的支路中，生成特征图B₂、B₃、B₄、B₅；包括：

将特征图A₂、A₃、A₄、A₅分别作为各自PostProcessor支路首个Residual块输入，在旁路用卷积核尺寸为1x1的卷积层进行卷积实现特征降维；

在主路顺序使用卷积核尺寸为1x1、3x3、1x1的卷积层进行卷积实现特征细化，将降维后特征与细化后特征逐元素相加融合得到新特征图A_{2_1}、A_{3_1}、A_{4_1}、A_{5_1}；

将计算得到的A_{2_1}、A_{3_1}、A_{4_1}、A_{5_1}分别作为各自支路第二个Residual块输入，在旁路用卷积核尺寸为1x1的卷积层进行卷积实现特征降维；

在主路顺序使用卷积核尺寸为1x1、3x3、1x1的卷积层进行卷积实现特征细化，将降维后特征与细化后特征逐元素相加融合得到新特征图B₂、B₃、B₄、B₅；

(7)将特征图B₂、B₃、B₄、B₅，分别输入带归一化权重的Down-Top空间特征融合结构，在该结构中利用相邻特征图的空间信息来补充并完善对应级别的特征，分别生成对应相同尺寸的特征图P₂、P₃、P₄、P₅；

(8)在双向特征迭代融合结构之后构建一路分类头Classifier Head，内部包括自适应全局平均池化层和全连接层，分别记为Average Pool和Fc；

将双向特征迭代融合结构输出的语义信息最强的特征图作为分类头Classifier Head的输入特征；即，选取步骤(7)中语义信息最强的特征图P₅作为分类头Classifier Head的输入特征，经自适应全局平均池化层和全连接层后利用SoftMax进行场景分类，得到分类结果；

(9)根据步骤(4)～步骤(8)，使用遥感图像数据训练集对基于双向特征迭代融合的卷积神经网络进行训练，得到训练好的卷积神经网络；

(10)将测试集中的图像输入到训练好的卷积神经网络中，得到输出特征Y，利用SoftMax对输出特征Y进行分类识别，进而实现对测试集的类别预测。