[发明专利]一种基于多线索多模态融合深度网络的地基云分类方法

权利要求书

1.一种基于多线索多模态融合深度网络的地基云分类方法，其特征在于，所述方法包括以下步骤：

步骤S1，对输入地基云样本进行预处理，得到多线索多模态融合深度网络输入，所述多线索多模态融合深度网络输入包括多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入；

步骤S2，将所述多线索多模态融合深度网络输入转移到多线索多模态融合深度网络训练模型中，训练得到多线索多模态融合深度网络；

步骤S3，提取每个输入地基云样本的全局视觉特征、局部视觉特征与多模态特征，并将其融合，得到每个输入地基云样本的最终特征表示；

步骤S4，根据所述最终特征表示训练支持向量机分类器，得到地基云分类模型；

步骤S5，获取测试输入地基云样本的最终特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云样本分类结果；

所述步骤S2包括以下步骤：

步骤S21，构建多线索多模态融合深度网络，其中，所述多线索多模态融合深度网络包括主网络、集中网络、多模态网络、两个融合层、两个全连接层和两个损失函数，所述主网络是一个残差网络，其第一个卷积层的卷积核大小为m₁×m₁，步长为s₁，卷积核组数量为n₁，第二至第五层是由数量不等的残差块组成，每个残差块由K层卷积层组成，所述集中网络中的集中图从主网络第三层的第一个残差块输出的卷积激活图中提取显著激活响应，所述多模态网络由N层全连接层组成，第一个融合层融合主网络输出的全局视觉特征和多模态网络输出的多模态特征，第二个融合层融合集中网络输出的局部视觉特征和多模态网络输出的多模态特征；

步骤S22，初始化所述集中网络、多模态网络和全连接层的参数，得到多线索多模态融合深度网络训练模型；

步骤S23，将所述多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入分别批量输入至所述多线索多模态融合深度网络训练模型的主网络和多模态网络进行联合训练，得到多线索多模态融合深度网络；

所述步骤S3包括以下步骤：

步骤S31，将所述多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入分别输入至训练好的多线索多模态融合深度网络的主网络和多模态网络中；

步骤S32，分别提取主网络、集中网络和多模态网络的输出作为所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征，其中，将主网络中平均池化层的输出作为全局视觉特征，将集中网络中平均池化层的输出作为局部视觉特征，将多模态网络中最后一个全连接层的输出作为多模态特征；

步骤S33，将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合，得到所述输入地基云样本的最终特征表示，其中，使用串联融合函数将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

步骤S11，对所述输入地基云样本中的地基云图像进行预处理，得到所述多线索多模态融合深度网络的视觉信息输入；

步骤S12，对所述输入地基云样本中的多模态信息进行预处理，得到所述多线索多模态融合深度网络的多模态信息输入。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11包括：

步骤S111，对将所述地基云图像进行归一化，得到归一化图像；

步骤S112，对所述归一化图像进行水平翻转，得到水平翻转图像；

步骤S113，对所述水平翻转图像进行随机裁剪；

步骤S114，将经随机裁剪后的地基云图像的每个RGB像素值减去相应的预设RGB像素均值，得到所述多线索多模态融合深度网络的视觉信息输入。

4.根据权利要求2或3所述的方法，其特征在于，所述步骤S12包括：

步骤S121，获取所述输入地基云样本中的多模态信息；

步骤S122，将所述多模态信息的值进行归一化，得到多线索多模态融合深度网络的多模态信息输入。