[发明专利]一种基于图像场景图谱对齐的图像查询回答方法

说明书

本发明提供的图像查询回答方法把图像场景图谱实体、属性和关系视觉向量与图像场景图谱实体、属性和关系向量进行对齐学习并且运用到图像查询回答中。关于上述的图像场景图谱对齐学习，首先，提取出图像场景图谱中的关系三元组和属性三元组，并根据TransE翻译模型或TransR翻译模型对图像场景图谱中的实体、关系、属性类型和属性进行图像场景图谱向量编码；然后，通过本发明提出的图像场景图谱实体、关系、属性视觉向量编码以及图像场景图谱实体、关系、属性实例化投影矩阵得到图像场景图谱实体、关系、属性实例化向量；最后用本发明提出的对齐函数进行对齐。为了进一步提高关系图像场景图谱实例化向量的质量，本发明提出了基于关系聚类的对齐方法。

技术领域

本发明涉及人工智能领域，更具体地，涉及一种基于图像场景图谱对齐的图像查询回答方法。

背景技术

图像场景图谱是对一幅图像所描绘场景的抽象的、结构化的表示。具体来说，图像场景图谱以图像场景图谱关系三元组(头部实体，关系，尾部实体)和图像场景图谱属性三元组(实体，属性类型，属性)的方式记录了图像中的实体、实体的属性以及两个实体之间的关系，并且每个实体在图像中都有一个对应的包围盒。图像场景图谱最先由Johnson等人提出，近来在计算机视觉和人工智能领域受到了关注，并有相关的研究成果，例如：利用图像场景图谱检索图像；从事先外部语料库学习的词向量中检索实体的词向量来辅助视觉问答；利用物体检测器和关系检测器生成图像场景图谱。

近年来，针对知识图谱的表示学习方法也受到了人们的关注。知识图谱可以表示成一系列的三元组(头部实体，关系，尾部实体)，而知识图谱的表示学习是指把知识图谱中的实体和关系都表示为低维的实值向量。Bordes等人提出TransE翻译模型，学习目标是使得头部实体向量与关系向量的和与尾部向量接近；Lin等人提出TransR翻译模型，先把头部实体和尾部实体投影到关系空间后，再运用TransE翻译模型的学习目标进行学习。

图像查询回答的目标是给出一组缺少头部实体、关系或者尾部实体的图像场景图谱关系三元组查询，(或缺少实体或属性的图像场景图谱属性三元组查询)，利用图像信息得出缺少部分的答案。求解上述图像场景图谱三元组(包括关系三元组和属性三元组)查询具有重要的意义，因为任意一组图像场景图谱三元组查询都可以转化成一条自然语言的查询，是视觉问答的基础，但是目前仍没有关于图像场景图谱关系三元组查询的解决方案。

发明内容

本发明针对图像场景图谱三元组查询回答问题，提出一种基于图像场景图谱对齐的新方法，对图像场景图谱查询回答有较好的处理效果。

为实现以上发明目的，采用的技术方案是：

一种基于图像场景图谱对齐的图像查询回答方法，用于对关系三元组头部q_h/尾部q_t实体查询、关系三元组关系q_r查询、属性三元组属性q_e查询、属性三元组属性q_a查询，包括以下步骤：

记输入图像为I，图像场景图谱实体向量集合为矩阵E，关系向量集合为矩阵R，关系簇向量集合为矩阵R^c，属性向量集合为矩阵Α，属性类型向量集合为矩阵Z，实体实例化矩阵集合为Π_E，关系实例化矩阵集合为Π_R，属性实例化矩阵集合为Π_A；

1.图像场景图谱实体、关系、属性视觉向量编码中的神经网络以及E，R，Α，Z，Π_E，Π_R，Π_A的对齐训练方法如下：

(1)输入图像场景图谱数据集，设定最大迭代次数；

(2)随机初始化图像场景图谱实体、关系、属性视觉向量编码中的神经网络以及E，R，Α，Z，Π_E，Π_R，Π_A；