[发明专利]跨模态处理方法、装置、电子设备和计算机存储介质

权利要求书

1.一种跨模态处理方法，其特征在于，所述方法包括以下步骤：

获取样本集；其中，所述样本集包括多个语料，以及多个图像；

根据所述样本集，生成多个训练样本；其中，每一个所述训练样本，是至少一个所述语料与对应的至少一个所述图像的组合；

采用所述多个训练样本，对语义模型进行训练，以使所述语义模型学习得到语料与图像组合的语义向量；

采用经过训练的语义模型，进行语料和图像之间的跨模态处理。

2.根据权利要求1所述的跨模态处理方法，其特征在于，所述采用所述多个训练样本，对语义模型进行训练，以使所述语义模型学习得到语料与图像组合的语义向量，包括：

针对每一个训练样本，对相应训练样本中所述图像呈现的各对象提取图像特征，以及对所述语料中各文本单元提取文本特征；

将各对象的所述图像特征和各文本单元的所述文本特征拼接，得到输入特征；

根据所述输入特征，执行第一训练任务，以对所述语义模型训练；

其中，所述第一训练任务包括：

对每一个训练样本，选中至少一个文本单元，将所述输入特征中相应文本单元的文本特征替换为设定的文本掩码，和/或，选中至少一个对象，将所述输入特征中相应对象的图像特征替换为设定的图像掩码；

将替换后得到的输入特征输入所述语义模型，以得到所述语义模型输出的第一语义向量；

根据所述第一语义向量，预测选中的文本单元和/或选中的对象；

根据预测准确性，调整所述语义模型的参数。

3.根据权利要求2所述的跨模态处理方法，其特征在于，所述选中的对象包括具有重叠显示区域的至少两个对象；或者，所述选中的对象为与任一对象均不具有重叠显示区域的一个对象。

4.根据权利要求2所述的跨模态处理方法，其特征在于，所述根据所述样本集，生成多个训练样本，包括：

将各所述语料，与相应语料描述的所述图像组合，得到语料与图像匹配的训练样本；

以及，将固定设置的所述语料与随机确定的所述图像组合，得到语料与图像不匹配的训练样本，和/或，将固定设置的所述图像与随机确定的所述语料组合，得到语料与图像不匹配的训练样本。

5.根据权利要求4所述的跨模态处理方法，其特征在于，所述输入特征中还包括匹配标识；所述采用所述多个训练样本，对语义模型进行训练，包括：

根据所述输入特征，执行第二训练任务，以对所述语义模型训练；

其中，所述第二训练任务包括：

对每一个训练样本，将对应的输入特征中所述匹配标识取设定值后，输入所述语义模型，以得到所述语义模型输出的第二语义向量；

根据所述第二语义向量中所述匹配标识的取值，预测相应训练样本中语料与图像的匹配性；

根据预测的匹配性与相应训练样本的实际匹配性之间的差异，调整所述语义模型的参数。

6.根据权利要求2所述的跨模态处理方法，其特征在于，所述对相应训练样本中所述图像呈现的各对象提取图像特征，包括：

对所述图像中呈现的各对象，获取视觉特征和空间坐标；其中，所述视觉特征，是对相应感兴趣区域的图像内容信息池化得到的；所述空间坐标，用于指示相应对象在图像中的展示位置；

将所述视觉特征和所述空间坐标拼接，生成对象特征；

根据各对象的所述对象特征、对象顺序特征和设定的第一模态标识，生成各对象的图像特征；其中，所述对象顺序特征，用于指示各对象之间的相互顺序关系；所述第一模态标识，用于指示相应对象属于图像。

7.根据权利要求6所述的跨模态处理方法，其特征在于，所述根据各对象的所述对象特征、对象顺序特征和设定的第一模态标识，生成各对象的图像特征之前，还包括：

对每一对象，从建立的种子库中搜索对应的标准文本；所述标准文本用于描述相应对象；

将所述标准文本的字符内容与所述对象特征融合。