[发明专利]一种基于深度多模态融合的地基云图像分类方法

说明书

本发明实施例公开了一种基于深度多模态融合的地基云图像分类方法，该方法包括：对输入地基云图像进行预处理，得到输入图像；将输入图像信息转移到深度神经网络训练模型中，训练得到深度神经网络；提取每幅输入图像的卷积激活特征，并进行平均池化，得到输入图像的视觉表示；将视觉特征与多模态特征相融合，得到每幅输入图像的最终特征表示；训练得到地基云图像分类模型；将测试输入图像的最终特征表示输入至模型中，得到地基云图像分类标签。本发明能够有效保持地基云图像的空间信息，达到有效提取地基云图像视觉特征的目的；充分利用视觉特征与多模态特征之间的互补信息，从而提高地基云图像分类的正确率。

技术领域

本发明属于模式识别、人工智能技术领域，具体涉及一种基于深度多模态融合的地基云图像分类方法

背景技术

云作为一种重要的天气现象，在天气预测中扮演着极其重要的角色。云分类是云观测的重要一部分，目前这项工作一直由专业的云观测者来担任。但是，人工观测需要大量的人力和时间成本，而且观测结果在很大程度上依赖于观测者的主观判断，可靠性低。因此，现在迫切需要对地基云图像自动分类。

近年来，人们做了许多的努力来分类地基云图像，其中一种趋势就是发明了许多地基云天空成像仪，例如全天空成像仪(WSI)、总天空成像仪(TSI)、红外天空成像仪(ICI)、全天成像仪(ASI)、全天红外云量测量系统(WSIRCMS)。得益于这些设备的发明，人们可以使用大量的地基云图像来开发地基云图像自动分类算法。Calbo基于傅里叶变换提取地基云的数据纹理特征来分类图像；Heinle基于12种特征用最近邻分类器将地基云分为7类；Ghonima将云图像与无云天空图像的红蓝比(red-blue-ratio(RBR))作为特征；Zhuo将纹理和结构特征结合起来作为云的表示；Kazantzidis在分类地基云图像时考虑了颜色、太阳天顶角以及云图像上出现的雨滴；Cheng将地基云图像分成一些小块，并基于这些小块对云图像进行分类；Xiao将纹理、结构和颜色特征进行融合作为云的视觉特征。

据观测，云的外貌可视为一种自然纹理，因此使用纹理特征来描述云比较合理。Sun利用局部二值模式(LBP)将地基云图像分为5类；Liu也提出了一些算法来提取地基云图像的纹理特征，例如多重随机映射、显著性局部二值模式(SLBP)和学习小组模式。近年来，卷积神经网络在视觉分类、目标检测、演讲识别等领域取得了显著的成绩，卷积神经网络之所以能够取得这些成果，在于卷积神经网络能够学习大量的参数，并且通过使用局部视野、共享权重和下采样对旋转和图像变形具有一定的鲁棒性。特别是共享权重，使卷积神经网络具有更高的泛化性。因而一些研究者也开始使用卷积神经网络来分类地基云图像。例如，Ye利用卷积层的输出值作为特征，之后，又采用了Fisher编码来进一步提高分类准确率。Shi利用了大多数的卷积层输出值作为特征，也评估了全连接层的性能。

但是，由于云的形状是由多重因素决定的，如温度、湿度、压强、风速等，因此，仅仅使用地基云图像的视觉特征来对云进行分类很难解决云图分类的难题。此外，Shi在利用卷积层做特征时，对每一个特征图进行平均池化，忽略了特征的空间信息。

发明内容

本发明的目的是要解决地基云图像分类困难的技术问题，为此，本发明提供一种基于深度多模态融合的地基云图像分类方法。

为了实现所述目的，本发明提出一种基于深度多模态融合的地基云图像分类方法，所述方法包括以下步骤：

步骤S1，对输入地基云图像进行预处理，得到深度神经网络的输入图像；

步骤S2，将输入图像信息转移到深度神经网络训练模型中，训练得到深度神经网络；

步骤S3，提取每幅输入图像的卷积激活特征；

步骤S4，对提取得到的卷积激活特征进行平均池化，得到输入图像的视觉表示；

步骤S5，将所述视觉特征与多模态特征相融合，得到每幅输入图像的最终特征表示；