[发明专利]基于对抗网络的多模态数据的重构方法及装置

权利要求书

1.一种基于对抗网络的多模态数据的重构方法，其特征在于，所述方法包括：

获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；

利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；

将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；

根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；

利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；

根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；

利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。

2.根据权利要求1所述的方法，其特征在于，获取初始对抗网络的过程包括：

采用GAN生成对抗缺失样本，根据所述对抗缺失样本进行对抗网络训练，得到初始对抗网络。

3.根据权利要求1所述的方法，其特征在于，利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：

根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；

根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；

将所述第一均方差重构损失和所述第二均方差重构损失进行加和，得到均方差重构损失。

4.根据权利要求3所述的方法，其特征在于，根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：

其中，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，表示第n个样本的第v个模态完整的多模态数据的重构数据，g_v(z_n)表示第n个样本的完整的多模态数据的重构数据。

5.根据权利要求3所述的方法，其特征在于，根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失

其中，M_vn表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，表示第n个样本的随机缺失的多模态数据的重构数据。

6.根据权利要求5所述的方法，其特征在于，获取多模态原始数据的散度损失的过程，包括：

其中，表示散度损失，p_nk表示n个实例到聚类中心k的概率，表示第v个模态中n个实例到聚类中心k的概率，f_k表示编码器函数，表示第n个样本的第v个模态的统一语义表示空间，表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。

7.根据权利要求6所述的方法，其特征在于，根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：

根据所述均方差重构损失和多模态原始数据的散度损失构建总损失函数；

对所述总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。