[发明专利]一种基于兴趣传播网络的兴趣视觉关系检测方法及装置

说明书

一种基于兴趣传播网络的兴趣视觉关系检测方法及装置，从输入图像中提取物体，并两两组合为物体对，计算相应的物体特征和联合特征，生成物体和物体对的视觉特征、语义特征和位置特征，经线性变换得到物体和物体对的兴趣特征，由此预测物体对兴趣度，并将物体对关系谓语的视觉特征、语义特征和位置特征经线性变换得到关系谓语的兴趣特征，预测物体间的关系谓语兴趣度；最后将物体对兴趣度和关系谓语兴趣度相结合得到视觉关系兴趣度，兴趣度高的视觉关系即为最终检测出的兴趣视觉关系。本发明在检测视觉关系的过程中能够以语义重要性为标准更合理地预测关系兴趣度，找出能够准确传达图像主体内容的兴趣视觉关系，具有良好的广泛性与实用性。

技术领域

本发明属于计算机视觉技术领域，涉及图像中的视觉关系检测，具体为一种基于兴趣传播网络的兴趣视觉关系检测方法。

技术背景

作为视觉与自然语言之间的桥梁，视觉关系检测旨在以主体，关系谓语，客体的关系三元组形式描述图像中的物体以及物体间的交互。其中，主体和客体通常由物体的边框和类别表示，关系谓语通常有动词(例如“举”、“骑”、“看”)、方位词(例如“在旁边”、“在前方”、“在上面”)和动词词组(例如“站在旁边”、“坐在”、“走过”)。视觉关系检测能够帮助机器理解和分析图像或视频的内容，可广泛应用于图像检索、视频分析等场景。

传统的视觉关系检测方法致力于检测出图像中所有的视觉关系。事实上由于主体、关系谓语和客体的爆炸式组合，传统方法通常会检测出十分丰富的视觉关系，如图2所示。这虽然可以更全面地描述图像内容，但过多的细节可能会误导机器对图像主体内容的理解，导致图像检索等场景下的精度出现丢失，不利于机器对图像或视频做出准确分析。

直观上看，并非所有检测到的视觉关系在语义上都真正“有趣”，即并非所有视觉关系都表达了图像的主体内容，往往其中只有一小部分关系对于传达图像的主体内容有着重要的意义，这样的关系即为兴趣视觉关系。兴趣视觉关系检测的目标就是检测出对于传达图像主体内容真正重要的视觉关系，即“有趣”的视觉关系。

目前，还没有研究工作对兴趣视觉关系检测进行过尝试，只有一些相关工作通过注意力模块来衡量关系在视觉上的显著性，从而决定关系的显著权重，找出显著视觉关系。但这样的方法只照顾到关系在视觉上的显著性，并没有顾及到关系在语义上的重要性，所得到的兴趣关系并不一定真正“有趣”。

发明内容

本发明要解决的问题是：图像中视觉关系过于丰富容易导致的机器理解偏差，需要检测出能够准确传达图像主体内容的兴趣视觉关系，以帮助机器更准确地理解和分析图像或视频。

本发明的技术方案为：一种基于兴趣传播网络的兴趣视觉关系检测方法，建立一个兴趣传播网络，输入图像，输出图像中的兴趣视觉关系，兴趣传播网络包括全景物体检测模块、物体对兴趣预测模块和关系谓语兴趣预测模块；首先通过全景物体检测模块从输入图像中提取物体，并两两组合为物体对，计算物体的物体特征和物体对的联合特征，在物体对兴趣预测模块中生成物体和物体对的视觉特征、语义特征及位置特征，分别得到物体和物体对的兴趣特征，由此预测物体对兴趣度；同时关系谓语兴趣预测模块由物体对关系谓语的视觉特征、语义特征及位置特征得到关系谓语的兴趣特征，使用半监督学习预测物体间的关系谓语兴趣度；最后将物体对兴趣度和关系谓语兴趣度相结合得到视觉关系兴趣度，兴趣度高的视觉关系即为最终检测出的兴趣视觉关系。

进一步的，本发明包括以下步骤：

1)对于输入的图像，提取出所有物体的边框和类别，计算这n个物体边框内的特征，作为物体特征，再将n个物体两两组合形成n(n-1)个物体对，计算每个物体对中主体和客体并集边框内的特征，作为联合特征；