[发明专利]一种针对多模态数据离散语义编码的装置和方法

说明书

本发明公开了一种针对多模态数据离散语义编码的装置和方法，方法包括以下步骤：S1、数据编码器的输入数据为x，采用LSTM对于文本数据进行编码，采用CNN模型对于图片进行编码，输出结果为一个多维张量h；S2、将h中代表现实意义的维度作为主要坐标输入Transfomer，然后经过数层Transfomer计算后，用Transfomer的前M个维度预测q(z|h)。本方案通过新的损失函数实现数据编码z的离散化，保证z包含丰富的信息，最大程度的保留原始数据中的信息点。

技术领域

本发明涉及人工智能领域，尤其是涉及针对多模态数据离散语义编码的装置和方法。

背景技术

将多模态数据转换为离散编码在许多行业有着重大意义。首先因为离散变量相较于连续的模拟数据占据更小的空间，因此可以大大的节省数据存储的空间，对于数据湖、物联网和边缘计算领域有着很高的作用，大大节省成本。其次，对于离散编码可以更加高效的被检索，因此对于大规模的信息(图片、文本、视频等)信息检索，离散编码有着巨大的优势。最后，离散编码相较于连续的向量有着更好的可读性，对于促进科研人员理解人工智能系统，进行人工智能决策优化有着重要的作用。

发明内容

本发明主要是提供一种针对多模态数据离散语义编码的方法和装置，对原始数据中的信息点有较好的保留。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种针对多模态数据离散语义编码的装置，包括：

数据编码器：对输入数据x编码，输出结果为一个多维张量h；

编码生成器：根据张量h生成M个K维的离散变量z的概率分布q(z|h)，离散变量有M个，每个离散变量均为K维；

针对给定张量h,编码生成器是一套神经网络，基于M个K维的离散变量生成概率分布作为编码结果q(z|h)；同时针对每一个维度，每个不同的变量，编码器包括离散符号和嵌入向量，嵌入向量的维数为D，嵌入向量为M×D的矩阵；编码器生成的输出包含两部分，第一部分是M个离散符号，另外是M个相对应的嵌入向量e(z)，大小为e(z)∈R^M×D；将h中代表现实意义的维度作为主要坐标输入Transfomer模型，然后经过数层Transfomer计算后，用Transfomer模型的前M个输出作为q(z|h)。

一种针对多模态数据离散语义编码的方法，基于前述的编码装置，包括以下步骤：

S1、通过数据编码器对输入数据进行编码，输出结果为多维张量h；

S2、将h中代表现实意义的维度作为主要坐标输入Transfomer模型，然后经过若干层(一般为12层)Transfomer计算后，用Transfomer模型的前M个输出作为q(z|h)。

作为优选，步骤S1中，对于文本数据采用LSTM进行编码，对于图片文件采用CNN模型进行编码。

作为优选，步骤S2中，h中代表现实意义的维度包括文字中的时间轴和图片中的方位信息。

作为优选，一种针对多模态数据离散语义编码的方法还包括对模型的训练方法，训练方法采用的损失函数为：

式中，q(z)按以下方式进行仿真：

式中，L_VAE为ELBO损失函数，I(Z,X)为最大互信息损失，q_qФ(z|x)为编码器模型，p(x)为x的边际分布，p_pФ(x|z)为解码器模型，KL为K-L距离，q(z)为拟似的z的边际分布，p(z)为z的边际分布，N为一个训练集的数据数量；

训练时，得到编码结果以后通过解码器重建原始数据。