[发明专利]一种基于多模态生成式对抗网络的云图分类方法

权利要求书

1.一种基于多模态生成式对抗网络的云图分类方法，其特征在于，所述方法包括以下步骤：

步骤S1，对输入多模态云训练样本进行预处理，得到多模态生成式对抗网络输入，其中，所述多模态云训练样本包括云图和多模态云标量信息，所述多模态生成式对抗网络输入包括多模态生成式对抗网络的视觉信息输入和多模态生成式对抗网络的标量信息输入；

步骤S2，基于所述多模态生成式对抗网络输入，训练得到多模态生成式对抗网络；

步骤S3，利用训练好的多模态生成式对抗网络产生假的多模态云样本，所述假的多模态云样本包括假的多模态云视觉信息和假的多模态云标量信息；

步骤S4，对多模态云训练样本与假的多模态云样本进行预处理，得到深度多模态云分类模型输入，其中，所述深度多模态云分类模型输入包括深度多模态云分类模型的视觉信息输入和深度多模态云分类模型的标量信息输入；

步骤S5，基于所述深度多模态云分类模型输入，训练得到多模态云分类模型；

步骤S6，将多模态云测试样本输入至深度多模态云分类模型中，得到每个多模态云测试样本的类别标签。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中对输入多模态云训练样本进行预处理，包括：

步骤S11，对所述输入多模态云训练样本中的云图进行预处理，得到所述多模态生成式对抗网络的视觉信息输入；

步骤S12，对所述输入多模态云训练样本中的多模态云标量信息进行预处理，得到所述多模态生成式对抗网络的标量信息输入。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11包括以下步骤：

步骤S111，对所述云图进行归一化，得到归一化云图；

步骤S112，对所述归一化图进行中心裁剪，得到中心裁剪云图；

步骤S113，对所述中心裁剪云图进行随机裁剪，得到随机裁剪云图；

步骤S114，将随机裁剪云图中的每个像素值减去相应的预设像素均值，得到多模态生成式对抗网络的视觉信息输入。

4.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：

步骤S121，将所述多模态云标量信息的值映射到相同的预设范围，得到映射后的多模态云标量信息；

步骤S122，将多模态云标量信息进行归一化处理，得到所述多模态生成式对抗网络的标量信息输入。

5.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：

步骤S21，构建多模态生成式对抗网络，其中，所述多模态生成式对抗网络包括判别网络和生成网络，所述判别网络包括视觉信息判别子网络和标量信息判别子网络，所述生成网络包括视觉信息生成子网络和标量信息生成子网络；

步骤S22，初始化所述多模态生成式对抗网络的参数；

步骤S23，将多模态生成式对抗网络的视觉信息输入与多模态生成式对抗网络的标量信息输入分别批量输入至所述多模态生成式对抗网络判别网络中的视觉信息判别子网络和标量信息判别子网络进行联合训练；

步骤S24，构建第一噪声向量；

步骤S25，将所述第一噪声向量输入至所述多模态生成式对抗网络中的生成网络，生成假的多模态云视觉信息与多模态云标量信息；

步骤S26，将假的多模态云视觉信息与多模态云标量信息分别输入至所述多模态生成式对抗网络判别网络的视觉信息判别子网络和标量信息判别子网络中进行联合训练；

步骤S27，重复所述步骤S23至步骤S26，得到所述多模态生成式对抗网络。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：

步骤S31，构建第二噪声向量；

步骤S32，将所述第二噪声向量输入至所述多模态生成式对抗网络的生成网络中，生成假的多模态云视觉信息与多模态云标量信息，得到假的多模态云样本。