[发明专利]图像文本之间的匹配度的确定方法及装置

权利要求书

1.一种图像文本之间的匹配度的确定方法，包括：

确定待匹配图像的图像特征信息和待匹配文本的文本特征信息；

通过表征逻辑型常识信息的图卷积网络，生成逻辑型常识特征信息；

在所述逻辑型常识特征信息的基础上，通过表征统计型常识信息的超图卷积网络，生成包括逻辑型常识信息和统计型常识信息的常识特征信息；

确定图像常识特征信息和文本常识特征信息，包括：从所述常识特征信息中，确定出所述图像常识特征信息和所述文本常识特征信息，其中，所述图像常识特征信息表征与所述待匹配图像中的目标信息相关的常识信息，所述文本常识特征信息表征与所述待匹配文本中的目标信息相关的常识信息；

根据所述图像特征信息、所述文本特征信息、所述图像常识特征信息和所述文本常识特征信息，确定所述待匹配图像和所述待匹配文本之间的匹配度。

2.根据权利要求1所述的方法，其中，所述根据所述图像特征信息、所述文本特征信息、所述图像常识特征信息和所述文本常识特征信息，确定所述待匹配图像和所述待匹配文本之间的匹配度，包括：

结合所述常识特征信息和所述图像常识特征信息，得到结合后图像常识特征信息；

结合所述常识特征信息和所述文本常识特征信息，得到结合后文本常识特征信息；

根据所述图像特征信息、所述文本特征信息、所述结合后图像常识特征信息和所述结合后文本常识特征信息，确定所述待匹配图像和所述待匹配文本之间的匹配度。

3.根据权利要求2所述的方法，其中，所述根据所述图像特征信息、所述文本特征信息、所述结合后图像常识特征信息和所述结合后文本常识特征信息，确定所述待匹配图像和所述待匹配文本之间的匹配度，包括：

确定所述图像特征信息和所述文本特征信息之间的第一匹配度，以及所述结合后图像常识特征信息和所述结合后文本常识特征信息之间的第二匹配度；

根据所述第一匹配度和所述第二匹配度，确定所述待匹配图像和所述待匹配文本之间的匹配度。

4.根据权利要求1所述的方法，其中，所述根据所述常识特征信息，确定所述图像常识特征信息和所述文本常识特征信息，包括：

根据所述图像特征信息，确定所述待匹配图像中的目标信息；

根据所述文本特征信息，确定所述待匹配文本中的目标信息；

从所述常识特征信息中确定出对应于所述待匹配图像中的目标信息的图像常识特征信息，以及对应于所述待匹配文本中的目标信息的文本常识特征信息。

5.根据权利要求1所述的方法，其中，所述通过表征逻辑型常识信息的图卷积网络，生成逻辑型常识特征信息，包括：

确定与所述待匹配图像中的目标信息和所述待匹配文本中的目标信息对应的数据集；

将所述数据集中的各概念的初始化向量信息输入所述图卷积网络，生成所述逻辑型常识特征信息。

6.根据权利要求5所述的方法，其中，在所述超图卷积网络所表征的超图中，通过超边表征所述超边连接的多个概念之间的语义相关性。

7.根据权利要求1所述的方法，其中，所述确定待匹配图像的图像特征信息，包括：

通过目标检测网络确定所述待匹配图像中的目标信息的第一特征信息；

基于所述第一特征信息，通过第一自注意力网络确定所述待匹配图像的图像特征信息。

8.根据权利要求1所述的方法，其中，确定待匹配文本的文本特征信息，包括：

通过特征提取网络确定所述待匹配文本的第二特征信息；

基于所述第二特征信息，通过第二自注意力网络确定所述待匹配文本的文本特征信息。