[发明专利]一种基于稠密特征分组蒸馏的缺失模态地物分类方法

权利要求书

1.一种基于稠密特征分组蒸馏的缺失模态地物分类方法，其特征在于，所述方法包括：

获取预定地区成对的光学图像和合成孔径雷达图像；

构建用于某一源遥感数据缺失下的地物分类的稠密自适应分组蒸馏网络；所述稠密自适应分组蒸馏网络包括用于引导学生网络学习特权信息的教师网络和学生网络；所述教师网络包括两个独立的结构对称的以残差网络为骨干的光学网络分支和合成孔径雷达网络分支，改进包括：教师网络包括嵌入到两个分支的不同层的基于交互门的特征分组模块，用于将多源特征分解为多源共享特征和各源独有特征，以实现多源特征的解耦，用于稠密特征自适应分组蒸馏；在所述教师网络和所述学生网络之间增加多阶自适应蒸馏学习策略，用于自适应突出分组特征蒸馏对学生网络学习的贡献，以及执行自适应分层特征蒸馏；

将成对的光学图像和合成孔径雷达图像输入到教师网络的相应网络分支中，通过基于交互门的特征分组模块实现多同源特征的交互，得到教师网络分类预测结果；

将所述光学图像或所述合成孔径雷达图像输入到所述学生网络中得到学生网络分类预测结果，并根据所述教师网络分类预测结果和所述学生网络分类预测结果，对所述学生网络进行训练，得到训练好的学生网络；

获取待测区域的光学图像和合成孔径雷达图像；并将待测区域的光学图像或合成孔径雷达图像输入到训练好的学生网络，得到待测区域的地物分类结果。

2.根据权利要求1所述的方法，其特征在于，所述光学网络分支和所述合成孔径雷达网络分支均包括卷积层、最大值池化层、多个残差网络模块以及全连接层；

将成对的光学图像和合成孔径雷达图像输入到教师网络的相应网络分支中，通过基于交互门的特征分组模块实现多同源特征的交互，得到教师网络分类预测结果，包括：

将成对的光学图像和合成孔径雷达图像作为教师网络输入，

将所述教师网络输入经过教师网络的相应网络分支的卷积层和最大值池化层进行卷积、池化处理，并将得到的结果分别输入到相应网络分支的第一个残差网络模块中，得到光学网络分支和合成孔径雷达网络分支的第一层特征；

将所述光学网络分支的第一层特征和所述合成孔径雷达网络分支的第一层特征输入到第一个所述基于交互门的特征分组模块中，得到第一层异构融合特征；

将所述光学网络分支的第一层特征以及第一层的雷达独有特征输入到光学网络分支的第二个残差网络模块中，得到光学网络分支的第二层特征；并将所述合成孔径雷达网络分支的第一层特征以及光学独有特征输入到合成孔径雷达网络分支的第二个残差网络模块中，得到合成孔径雷达网络分支的第二层特征；

将所述光学网络分支的第二层特征和所述合成孔径雷达网络分支的第二层特征输入到第二个所述基于交互门的特征分组模块中，得到第二层异构融合特征；依此类推，直到光学网络分支和合成孔径雷达网络分支的最后一个残差网络模块，得到光学网络分支特征、合成孔径雷达网络分支特征以及异构融合特征；

将所述光学网络分支特征、所述合成孔径雷达网络分支特征以及所述异构融合特征输入到相应的全连接层中，得到光学支路分类预测结果、合成孔径雷达支路分类预测结果以及异构融合分类预测结果；

根据所述光学支路分类预测结果、所述合成孔径雷达支路分类预测结果、所述异构融合分类预测结果以及所述教师网络输入，构建教师网络总损失函数；

根据所述教师网络总损失函数和所述教师网络输入对教师网络进行反向训练，得到教师网络分类预测结果。