[发明专利]图像文本之间的匹配度的确定方法及装置

说明书

本申请公开了一种图像文本之间的匹配度的确定方法及装置。方法的一具体实施方式包括：确定待匹配图像的图像特征信息和待匹配文本的文本特征信息；确定图像常识特征信息和文本常识特征信息，其中，图像常识特征信息表征与待匹配图像中的目标信息相关的常识信息，文本常识特征信息表征与待匹配文本中的目标信息相关的常识信息；根据图像特征信息、文本特征信息、图像常识特征信息和文本常识特征信息，确定待匹配图像和待匹配文本之间的匹配度。本申请提供了一种结合图像文本自身特征信息和所涉及的常识信息，来确定图像文本之间的匹配度的方法，提高了泛化能力。

技术领域

本申请实施例涉及计算机技术领域，具体涉及一种图像文本之间的匹配度的确定方法及装置。

背景技术

多模态内容理解是多媒体和计算机视觉领域的一个重要课题。其中，图像和文本之间的跨模态检索，即图像-文本匹配，是一个具有重要应用价值且很有挑战性的研究目标。随着深度学习技术的快速发展以及多媒体数据体量的不断增加，图像-文本匹配技术取得了很大的进展。目前，图像-文本匹配的主流方法的思路可以归结为：使用深度神经网络将图像和文本两个模态的数据映射到公共隐空间中，进行相似性度量。

发明内容

本申请实施例提出了一种图像文本之间的匹配度的确定方法及装置。

第一方面，本申请实施例提供了一种图像文本之间的匹配度的确定方法，包括：确定待匹配图像的图像特征信息和待匹配文本的文本特征信息；确定图像常识特征信息和文本常识特征信息，其中，图像常识特征信息表征与待匹配图像中的目标信息相关的常识信息，文本常识特征信息表征与待匹配文本中的目标信息相关的常识信息；根据图像特征信息、文本特征信息、图像常识特征信息和文本常识特征信息，确定待匹配图像和待匹配文本之间的匹配度。

在一些实施例中，上述在确定图像常识特征信息和文本常识特征信息之前，还包括：通过表征逻辑型常识信息的图卷积网络，生成逻辑型常识特征信息；在逻辑型常识特征信息的基础上，通过表征统计型常识信息的超图卷积网络，生成包括逻辑型常识信息和统计型常识信息的常识特征信息；以及上述确定图像常识特征信息和文本常识特征信息，包括：根据常识特征信息，确定图像常识特征信息和文本常识特征信息。

在一些实施例中，上述根据图像特征信息、文本特征信息、图像常识特征信息和文本常识特征信息，确定待匹配图像和待匹配文本之间的匹配度，包括：结合常识特征信息和图像常识特征信息，得到结合后图像常识特征信息；结合常识特征信息和文本常识特征信息，得到结合后文本常识特征信息；根据图像特征信息、文本特征信息、结合后图像常识特征信息和结合后文本常识特征信息，确定待匹配图像和待匹配文本之间的匹配度。

在一些实施例中，上述根据图像特征信息、文本特征信息、结合后图像常识特征信息和结合后文本常识特征信息，确定待匹配图像和待匹配文本之间的匹配度，包括：确定图像特征信息和文本特征信息之间的第一匹配度，以及结合后图像常识特征信息和结合后文本常识特征信息之间的第二匹配度；根据第一匹配度和第二匹配度，确定待匹配图像和待匹配文本之间的匹配度。

在一些实施例中，上述根据常识特征信息，确定图像常识特征信息和文本常识特征信息，包括：根据图像特征信息，确定待匹配图像中的目标信息；根据文本特征信息，确定待匹配文本中的目标信息；从常识特征信息中确定出对应于待匹配图像中的目标信息的图像常识特征信息，以及对应于待匹配文本中的目标信息的文本常识特征信息。

在一些实施例中，上述通过表征逻辑型常识信息的图卷积网络，生成逻辑型常识特征信息，包括：确定与待匹配图像中的目标信息和待匹配文本中的目标信息对应的数据集；将数据集中的各概念的初始化向量信息输入图卷积网络，生成逻辑型常识特征信息。

在一些实施例中，在超图卷积网络所表征的超图中，通过超边表征超边连接的多个概念之间的语义相关性。