[发明专利]基于对抗网络的多模态数据的重构方法及装置

说明书

本申请涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。所述方法包括：利用利用初始对抗网络中编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；根据解码器进行解码，得到资源对象的重构数据；利用资源对象的多模态原始数据和重构数据建立均方差重构损失；根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的初始对抗网络对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。采用本方法能够能够重构缺失的多模态数据。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。

背景技术

在现代信息环境下，可用于态势感知的传感器类型多、数据量大。这些传感器形成的数据(例如雷达频谱、目标点迹航迹、态势以及报文描述等)表现为多模态数据。每个模态都可能提供一定的有用信息，但又难以提供较为完整准确的信息。这些信息有一定的互补性，同时又有严重的冗余和分歧。因此，在强对抗环境下，有效融合多种情报来源的多模态数据是及时准确把握瞬息万变的整体态势的必要手段，针对场景中大量存在的不完整多模态资源对象，主要挑战包括两方面：多模态与数据缺失。

然而，现有对于解决缺失的多模态数据方法主要集中在矩阵分解和核方法，这些方法采用浅层的线性变换将不完整多模态数据转换到同一语义共享子空间进行多模态融合分析，然而当模态间数据分布或语义偏差较大时，算法有效性受到极大影响，传统的基于矩阵分解的线性模型难以充分捕获多模态特征之间的复杂关联。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决缺失的多模态数据的基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。

一种基于对抗网络的多模态数据的重构方法，所述方法包括：

获取资源对象的多模态原始数据集和初始对抗网络；多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；

利用初始对抗网络中的编码器对多模态原始数据集进行编码，得到多个低维语义空间；

将多个低维语义空间联合进行平均池化，得到统一语义表示空间；

根据初始对抗网络中的解码器将资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到资源对象的重构数据；

利用资源对象的多模态原始数据和重构数据建立均方差重构损失；

根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；

利用训练好的对抗网络中的编码器和解码器对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。

在其中一个实施例中，采用GAN生成对抗缺失样本，根据对抗缺失样本进行对抗网络训练，得到初始对抗网络。

在其中一个实施例中，利用资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：

根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；

根据资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；

将第一均方差重构损失和第二均方差重构损失进行加和，得到均方差重构损失。

在其中一个实施例中，根据资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：