[发明专利]一种基于多线索多模态融合深度网络的地基云分类方法

说明书

本发明实施例公开了一种基于多线索多模态融合深度网络的地基云分类方法，该方法包括：对输入地基云样本进行预处理，得到多线索多模态融合深度网络输入；将该输入转移到多线索多模态融合深度网络训练模型中，训练得到多线索多模态融合深度网络；提取每个输入地基云样本的全局视觉特征、局部视觉特征与多模态特征，融合得到每个输入地基云样本的最终特征表示；训练支持向量机分类器，得到地基云分类模型；获取测试输入地基云样本的最终特征表示，输入至地基云分类模型中得到分类结果。本发明具有融合异构特征能力，能够有效学习视觉信息与多模态信息，提取出更高辨别性的全局视觉特征、局部视觉特征与多模态特征，提高地基云分类的正确率。

技术领域

本发明属于模式分类、气象科学、人工智能技术领域，具体涉及一种基于多线索多模态融合深度网络的地基云分类方法。

背景技术

在过去的几十年里，研究者们对地基云分类进行了广泛的探索。地基云分类对许多实际应用非常重要，这些应用包括气候预测、空中交通管制、天气监控等。如今，地基云分类仍然主要依赖于专业的观察者，而人工观测消耗时间和人力，并受观察者经验和主观因素等影响，导致地基云分类结果往往因人而异。因而，迫切需要提出精准的自动地基云分类方法。

大多数传统方法主要使用手工特征表示地基云图像，这些特征包括亮度、纹理、形状和颜色等。Singh和Glennen使用自相关矩阵、互相关矩阵、边界频率、Law特征和本原长度等纹理特征将地基云图像自动分为5类。Kazantzidis等人使用7种颜色特征、3种纹理特征、总云量和地基云图像上的雨滴将地基云图像分为7类。Liu等人提出用显著性局部二值编码提取具有表示信息的特征。以上方法均是基于手工特征的地基云视觉特征提取方法，并不适用于不同分布的地基云数据库。近年来，卷积神经网络(CNN)因其可以自动学习具有判别性特征等优点而被广泛应用于诸多领域，并取得了显著成果，研究者们也开始利用卷积神经网络对地基云进行自动分类。Shi等人将平均池化或最大池化作用于每张卷积激活图上，然后提取基于卷积激活的特征并对地基云进行分类。Ye等人利用Fisher向量编码从卷积神经网络的卷积层提取特征对地基云图像进行分类。Zhang等人提出CloudNet同时提取地基云图像的纹理特征、结构特征和形状特征对地基云图像进行分类。由于地基云图像类内差别大类间差别小，分类难度大，现有的方法很难达到实际分类要求，主要有以下两方面原因。

首先，许多基于卷积神经网络的方法主要关注如何从整幅地基云图像上提取全局特征。由于受地基云图像上非显著信息的影响，提取的全局特征往往不是最优的。Ye等人使用模式挖掘与选择策略提取多个卷积层的局部视觉特征，然后利用Fisher向量对提取的特征进行编码。但是，他们仅仅是从预训练的卷积神经网络中直接提取地基云图像的视觉特征，没有学习的过程，这无疑会降低地基云图像的分类正确率。因而，需要提出一种能自动定位地基云图像显著区域进而提取具有判别性局部特征的方法。

其次，地基云图像属于地基云视觉信息，很难准确描述地基云。与此同时，云的形成是多种因素相互作用的结果，这些因素包括温度、湿度、气压、风速等，可以定义这些因素为多模态信息。云的形成与多模态信息具有较大相关性。例如，湿度影响云的产生，风影响云的形状。因此，多模态信息包含潜在的地基云信息，这些信息与视觉信息互补，将视觉信息与多模态信息融合可以提高地基云分类的准确率。

发明内容

本发明的目的是要解决地基云分类困难的问题，为此，本发明提供一种基于多线索多模态融合深度网络的地基云分类方法。

所述方法包括以下步骤：

步骤S1，对输入地基云样本进行预处理，得到多线索多模态融合深度网络输入，所述多线索多模态融合深度网络输入包括多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入；

步骤S2，将所述多线索多模态融合深度网络输入转移到多线索多模态融合深度网络训练模型中，训练得到多线索多模态融合深度网络；