[发明专利]一种基于区域注意力学习机制的视觉关系检测方法

说明书

本发明公开了一种基于区域注意力学习机制的视觉关系检测方法，所述方法包括：获取三元组图结构，并将其聚合邻节点后的特征进行组合，作为第二图结构的节点，依据等概率边进行连接，构成第二图结构；将第二图结构节点特征与对应三元组实体对象节点的特征进行组合，组合后作为视觉注意力机制同时融合两个实体对象所提取的内部区域视觉特征，将其作为三元组中相应实体对象节点进行下一次消息传播时的视觉特征；在一定消息传播次数之后，输出的三元组节点特征和第二图结构的节点特征进行视觉特征组合，以此综合推理对象组之间的谓词。本发明能够识别在不同视觉关系下实体对象所关注的内部区域，从而来提高视觉关系检测的精度。

技术领域

本发明涉及视觉关系检测领域，尤其涉及一种基于区域注意力学习机制的视觉关系检测方法。

背景技术

随着深度学习技术的飞速发展，图像理解领域逐渐引起了许多关注，其中作为该领域的基础，视觉关系检测是一项十分具有挑战性的任务，因为其不仅仅需要预测图片中实体对象的语义和空间信息，而且还需要对实体对象之间的谓词关系进行分类。以图1中“人骑摩托”的图片为例，视觉关系检测不但要识别出主语“人”和宾语“摩托”以及他们的位置，而且还需要识别出两者存在动词“骑”这种关系。由于一般的视觉关系都可以用主语–谓词–宾语的这种结构化三元组关系描述的特点^[1]，视觉关系检测才能作为图像理解领域基础从而应用在更高层次的视觉任务之中，比如图像描述^[2][3]，视觉问答^[4][5]，图文检索^[6][7]，视觉对话^[8][9]和视觉推理^[10][11]等任务。

近些年来，在视觉关系检测任务上涌现出了许多优秀的工作。粗略的来说，这些工作的学习策略大致可以分为两个基本的方向：第一，分别训练实体对象的检测器和实体对象之间的关系检测器，并将它们的模型输出聚合起来得到视觉关系的三元组；第二，对于每个包含视觉关系的视觉短语学习一个单独的检测器。在面对多样性的视觉关系时，一些学者已经证明视觉短语的学习方法更加具有鲁棒性^[12]，但是针对目前已有的数据集，一些特定关系的训练样本十分少，所以该方法也具有一定的局限性。对于聚合模型输出的方法，虽然可以在结构化三元组之间将各自包含的知识进行很好的共享^[13]，但是针对不可见的关系时并不能很好的处理。

目前，为了能够提升通用检测器的特征表征能力，研究者们逐渐偏向于设计对具有统计关系依赖的模型，这种依赖关系可以是图模型^[14]，语料的知识蒸馏^[15]或者上下文的语义[16]

但是现有的方法仅仅是从粗粒度的角度上对检测到的实体对象整体直接进行特征提取，然后将其映射到同一特征空间进行关系识别，这些方法其实忽略了实体对象的内部一些细粒度的线索，来更深度挖掘对于不同视觉关系检测到的实体图像内部所关注的区域信息。

发明内容

本发明提供了一种基于区域注意力学习机制的视觉关系检测方法，本发明避免了在同一特征空间进行实体对象关系分析时，建立的模型缺少对实体对象内部区域的细粒度信息交互的问题，并且通过视觉注意力机制学习过程后，能够识别在不同视觉关系下实体对象所关注的内部区域，从而来提高视觉关系检测的精度，详见下文描述：

一种基于区域注意力学习机制的视觉关系检测方法，所述方法包括：

获取三元组图结构，并将其聚合邻节点后的特征进行组合，作为第二图结构的节点，依据等概率边进行连接，构成第二图结构；

将第二图结构节点特征与对应三元组实体对象节点的特征进行组合，组合后作为视觉注意力机制同时融合两个实体对象所提取的内部区域视觉特征，将其作为三元组中相应实体对象节点进行下一次消息传播时的视觉特征；

在一定消息传播次数之后，输出的三元组节点特征和第二图结构的节点特征进行视觉特征组合，以此综合推理对象组之间的谓词。