[发明专利]跨模态数据的匹配方法、装置及计算机程序产品

说明书

本公开提供了一种跨模态数据的匹配方法、装置，具体实现方案为：获取训练样本集，其中的训练样本包括第一模态数据、第二模态数据和表征多模态数据之间是否匹配的标签；分别提取训练样本中的第一模态数据和第二模态数据的第一层级特征信息和第二层级特征信息；以匹配损失函数约束第一模态数据与第二模态数据之间基于第一层级特征信息得到的匹配结果，和基于第二层级特征信息的匹配结果，以分类损失函数约束分别基于第一模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，和分别基于第二模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，训练得到跨模态匹配模型。本公开提高了跨模态匹配模型的匹配速度和准确度。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、图像识别和深度学习技术，尤其涉及跨模态数据的匹配方法、装置、电子设备、存储介质以及计算机程序产品，可用于跨模态检索场景下。

背景技术

跨模态检索是多媒体内容理解中的重要研究领域。跨模态检索旨在通过为不同模态的数据建立匹配关系，从而实现以某一模态数据作为查询数据，检索到具有相同或相近语义的其他模态数据。其中，作为互联网中最为广泛存在的两类信息，图像和文本之间的跨模态检索，即图像-文本匹配，是一个具有重要研究及应用价值的任务。传统的跨模态检索中，主要采用文本关键词的方式，其本质依然是单模态检索。例如，对于以文搜图的跨模态检索任务，给出一个查询文本，进行检索前需要先对候选集里的图片进行文本的人工标注，然后进行查询文本与标注文本的匹配度计算，最后返回检索到的标注文本对应的图片。

发明内容

本公开提供了一种跨模态匹配模型的训练方法、装置以及跨模态数据的匹配方法、装置、电子设备、存储介质以及计算机程序产品。

根据第一方面，提供了一种跨模态匹配模型的训练方法，包括：获取训练样本集，其中，训练样本集中的训练样本包括第一模态数据、第二模态数据和表征第一模态数据、第二模态数据是否匹配的标签；分别提取每个训练样本中的第一模态数据和第二模态数据的第一层级特征信息和第二层级特征信息；以预设匹配损失函数约束第一模态数据与第二模态数据之间基于第一层级特征信息得到的匹配结果，和基于第二层级特征信息的匹配结果，以预设分类损失函数约束分别基于第一模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，和分别基于第二模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，训练得到跨模态匹配模型。

根据第二方面，提供了一种跨模态数据的匹配方法，包括：获取待匹配模态数据；通过跨模态匹配模型，确定与待匹配模态数据匹配的目标模态数据，其中，跨模态匹配模型通过第一方面任一实现方式描述的方法训练得到。

根据第三方面，提供了一种跨模态匹配模型的训练装置，包括：第一获取单元，被配置成获取训练样本集，其中，训练样本集中的训练样本包括第一模态数据、第二模态数据和表征第一模态数据、第二模态数据是否匹配的标签；提取单元，被配置成分别提取每个训练样本中的第一模态数据和第二模态数据的第一层级特征信息和第二层级特征信息；训练单元，被配置成以预设匹配损失函数约束第一模态数据与第二模态数据之间基于第一层级特征信息得到的匹配结果，和基于第二层级特征信息的匹配结果，以预设分类损失函数约束分别基于第一模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，和分别基于第二模态数据的第一层级特征信息、第二层级特征信息得到的分类结果，训练得到跨模态匹配模型。

根据第四方面，提供了一种跨模态数据的匹配装置，包括：第二获取单元，被配置成获取待匹配模态数据；确定单元，被配置成通过跨模态匹配模型，确定与待匹配模态数据匹配的目标模态数据，其中，跨模态匹配模型通过第三方面任一实现方式描述的装置训练得到。

根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面、第二方面任一实现方式描述的方法。