[发明专利]多模态数据处理方法、电子设备及存储介质

说明书

本申请实施例公开了一种多模态数据处理方法，包括：在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量；数据包括图像模态数据和文本模态数据；基于第一特征向量、第二特征向量分别确定第一损失值和第二损失值；第一损失值表征当前输入的数据的语义类别预测误差；第二损失值表征当前输入的数据与历史输入的数据之间语义相关性与距离的关联程度；语义相关性表示数据是否属于同一语义类别；基于神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值；第三损失值表征图像模态和文本模态之间的差异程度；基于第一损失值、第二损失值以及第三损失值训练神经网络模型。

技术领域

本发明涉及深度学习领域，尤其涉及一种多模态数据处理方法、电子设备及存储介质。

背景技术

现有技术中，对于不同模态数据的检索，往往需要根据不同模态的训练样本数据对应的的样本数据特征，通过一至两种约束训练目标特征提取模型，例如类内低秩损失约束、语义一致约束等。在获取到不同模态的目标数据和待检索数据后，调用目标特征提取模型进行跨模态检索操作，得出对应的检索结果。但是现有技术在生成不同模态的公共特征空间上，存在约束不足的问题，导致模型缺乏健壮性，进而导致检索准确率偏低。

发明内容

有鉴于此，本发明实施例提供一种多模态数据处理方法、电子设备及存储介质。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种多模态数据处理方法，包括：

在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量；所述数据包括图像模态数据和文本模态数据；

基于所述第一特征向量、所述第二特征向量分别确定第一损失值和第二损失值；所述第一损失值表征当前输入的数据的语义类别预测误差；所述第二损失值表征所述当前输入的数据与历史输入的数据之间语义相关性与距离的关联程度；所述语义相关性表示数据是否属于同一语义类别；

基于所述神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值；所述第三损失值表征图像模态和文本模态之间的差异程度；

基于所述第一损失值、第二损失值以及第三损失值训练所述神经网络模型。

进一步地，所述基于所述第一特征向量、所述第二特征向量分别确定第一损失值和第二损失值，包括：

基于所述第一特征向量和所述第二特征向量在所述神经网络模型的迭代计算中得到的迭代结果，确定第一损失值；所述迭代结果包括所述第一特征向量和第二特征向量分别在多个语义类别中对应的概率；

基于所述第一特征向量、所述第二特征向量与历史输入的数据对应的其他特征向量之间的距离，确定第二损失值。

进一步地，所述在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量，包括：

基于神经网络模型中的图像特征提取网络处理当前输入的图像模态数据，得到第一特征向量；

基于神经网络模型中的文本特征提取网络处理当前输入的文本模态数据，得到第二特征向量；

所述方法还包括：

基于所述图像特征提取网络的层数和神经元权重，以及所述文本特征提取网络的层数和神经元权重，确定表征所述神经网络模型拟合程度的第四损失值；

所述基于所述第一损失值、第二损失值以及第三损失值训练所述神经网络模型，包括：

基于所述第一损失值、第二损失值、第三损失值以及第四损失值，对所述神经网络模型的参数进行更新。

进一步地，所述基于神经网络模型中的图像特征提取网络处理当前输入的图像模态数据，得到第一特征向量，包括：