[发明专利]跨模态数据的匹配方法、装置及计算机程序产品

权利要求书

1.一种跨模态匹配模型的训练方法，包括：

获取训练样本集，其中，所述训练样本集中的训练样本包括第一模态数据、第二模态数据和表征第一模态数据、第二模态数据是否匹配的标签；

分别提取每个训练样本中的第一模态数据和第二模态数据的第一层级特征信息和第二层级特征信息；

以预设匹配损失函数约束第一模态数据与第二模态数据之间基于第一层级特征信息得到的匹配结果，和基于第二层级特征信息的匹配结果，以预设分类损失函数约束分别基于第一模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，和分别基于第二模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，训练得到所述跨模态匹配模型。

2.根据权利要求1所述的方法，其中，提取每个训练样本中的第一模态数据的第一层级特征信息和第二层级特征信息，包括：

通过第一模态特征提取网络对第一模态数据进行特征提取，得到第一模态数据对应的初始第一层级特征信息和初始第二层级特征信息，其中，所述初始第二层级特征信息在所述初始第一层级特征信息的基础上提取得到；

通过第一卷积层、第一映射单元得到所述初始第一层级特征信息对应的第一层级特征信息；

通过第二映射单元得到所述初始第二层级特征信息对应的第二层级特征信息。

3.根据权利要求1所述的方法，其中，提取每个训练样本中的第二模态数据的第一层级特征信息和第二层级特征信息，包括：

通过第二模态特征提取网络对第二模态数据进行特征提取，得到第二模态数据对应的初始第一层级特征信息和初始第二层级特征信息，其中，所述初始第二层级特征信息在所述初始第一层级特征信息的基础上提取得到；

通过第二卷积层、第三映射单元得到所述初始第一层级特征信息对应的第一层级特征信息；

通过第四映射单元得到所述初始第二层级特征信息对应的第二层级特征信息。

4.根据权利要求1所述的方法，其中，所述以预设匹配损失函数约束第一模态数据与第二模态数据之间基于第一层级特征信息得到的匹配结果，和基于第二层级特征信息的匹配结果，包括：

以第一排序损失函数约束第一模态数据的第一层级特征信息与第二模态数据的第一层级特征信息之间的匹配结果；

以第二排序损失函数约束第一模态数据的第二层级特征信息与第二模态数据的第二层级特征信息之间的匹配结果。

5.根据权利要求1所述的方法，其中，所述以预设分类损失函数约束分别基于第一模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，和分别基于第二模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，包括：

以自监督聚类损失函数约束基于第一模态数据的第一层级特征信息得到的分类结果，以及基于第二模态数据的第一层级特征信息得到的分类结果；

以实例损失函数约束基于第一模态数据的第二层级特征信息得到的分类结果，以及基于第二模态数据的第二层级特征信息得到的分类结果。

6.根据权利要求1-5中任一项所述的方法，其中，第一模态数据为图像数据，第二模态数据为文本数据。

7.一种跨模态数据的匹配方法，包括：

获取待匹配模态数据；

通过跨模态匹配模型，确定与所述待匹配模态数据匹配的目标模态数据，其中，所述跨模态匹配模型通过权利要求1-6中的任一项训练得到。