[发明专利]一种基于多模态生成式对抗网络的云图分类方法

说明书

本发明实施例公开了一种基于多模态生成式对抗网络的云图分类方法，该方法包括：对输入多模态云训练样本进行预处理，得到多模态生成式对抗网络输入；基于所述多模态生成式对抗网络输入，训练得到多模态生成式对抗网络；利用训练好的多模态生成式对抗网络产生假的多模态云样本；对多模态云训练样本与假的多模态云样本进行预处理，得到深度多模态云分类模型输入；基于所述深度多模态云分类模型输入，训练得到多模态云分类模型；将多模态云测试样本输入至深度多模态云分类模型中，得到每个多模态云测试样本的类别标签。

技术领域

本发明属于模式识别、人工智能技术领域，具体涉及一种基于多模态生成式对抗网络的云图分类方法。

背景技术

云在气候监控中扮演着重要的角色。因为不同种类的云可以反映不同的天气状况，而天气状况直接影响到农业、旅游业和其他经济活动。因此，准确的云分类可以促进气候监控的进一步发展。

传统的云数据采集方法仅仅利用云天空成像仪，例如全天空成像仪(WSI)、总天空成像仪(TSI)、红外天空成像仪(ICI)、全天成像仪(ASI)、全天红外云量测量系统(WSIRCMS)采集云的视觉信息。而视觉信息受环境因素影响较大，同一类别的云在形状、光照等方面差异较大。同时，云的类别受多种环境信息(标量信息)的影响，这些标量信息包括温度、湿度、气压、风速等。这些标量信息与云的视觉信息结合在一起构成多模态云信息。利用多模态云信息可以进一步提高云的分类准确率，原因可以概括为以下两个方面：首先，这些标量信息可以反映云的形成过程，因而它们能够提供更加准确的天气信息；其次，标量信息以及云的视觉信息可以提供完备和互补的云信息，这些信息结合在一起可以进一步地提高云分类的准确率。

近几十年来，人们采用了多种方法来进行准确的云分类。Liu等人提取云的灰度平均值、云块、边缘锐度、云团等云的结构特征来对云进行分类；Zhuo等人利用色谱变换提取云的纹理与局部结构特征，利用自动分区法提取云的全局结构特征；Liu等人将云的局部块方差作为局部二值模式的自适应权重来对云进行分类；Wang等人统计所有局部二值模式的出现频次，并将这些频次的平均排序作为云的特征描述子；Kliangsuwan等人采用5种特征提取方法得到云的特征向量，这些方法包括纹理、二维函数矩、绝对傅里叶变换、对数傅里叶变换、快速傅里叶变换映射，之后将这些特征向量构建成特征矩阵对云进行分类；Taravat等人采用多重感知神经网络和支持向量机对云进行分类；为克服云纹理分辨率的变化，Liu等人联合云空间结构金字塔和显著性局部二值模式获得云的表示特征；Shi等人利用深度卷积神经网络的卷积激活特征进行云分类；Liu等人提出了两种方法对多模态云进行分类，第一种方法对深度神经网络的卷积激活图进行空间求和池化提取多模态云的视觉特征，接着采用权重策略将提取的视觉特征与云的标量信息进行串联来获取多模态云的最终特征表示；第二种方法是利用包含两个子网络的联合融合卷积神经网络同时学习多模态云的视觉特征与标量特征。但是，由于训练样本缺乏多样性，这些深度模型泛化性较低，易于出现过拟合。

近年来，生成式对抗网络能够产生具有多样性的样本并且已被用于多个领域，例如文字到图的合成，可释表示学习，图与图之间的转换和图像超分辨率等。生成式对抗网络包括生成网络和判别网络，这两个网络之间是一种博弈的关系。具体地说，生成网络产生尽可能真的样本使判别网络无法判断真假，而判别网络就是要区分真样本与假样本。对于一个随机的输入，生成网络可以产生不同的样本。由于生成式对抗网络可以以极小的成本产生大规模的无标签样本，为昂贵的数据标记、数据缺乏等问题提供了一种解决办法。但是，现有生成式对抗网络都不适于产生多模态云数据。

发明内容

本发明的目的是要解决由于深度神经网络缺乏训练样本，泛化性能低，易于出现过拟合，进而导致云分类准确率不高的技术问题，为此，本发明提供一种基于多模态生成式对抗网络的云图分类方法。

所述方法包括以下步骤：