[发明专利]一种基于兴趣传播网络的兴趣视觉关系检测方法及装置

权利要求书

1.一种基于兴趣传播网络的兴趣视觉关系检测方法，其特征是建立一个兴趣传播网络，输入图像，输出图像中的兴趣视觉关系，兴趣传播网络包括全景物体检测模块、物体对兴趣预测模块和关系谓语兴趣预测模块；首先通过全景物体检测模块从输入图像中提取物体，并两两组合为物体对，计算物体的物体特征和物体对的联合特征，在物体对兴趣预测模块中生成物体和物体对的视觉特征、语义特征及位置特征，经过线性变换得到物体和物体对的兴趣特征，由此预测物体对兴趣度；同时关系谓语兴趣预测模块由物体对关系谓语的视觉特征、语义特征及位置特征经过线性变换得到关系谓语的兴趣特征，使用半监督学习预测物体间的关系谓语兴趣度；最后将物体对兴趣度和关系谓语兴趣度相结合得到视觉关系兴趣度，兴趣度高的视觉关系即为最终检测出的兴趣视觉关系。

2.根据权利要求1所述的一种基于兴趣传播网络的兴趣视觉关系检测方法，其特征是包括以下步骤：

1)对于输入的图像，提取出所有物体的边框和类别，计算这n个物体边框内的特征，作为物体特征，再将n个物体两两组合形成n(n-1)个物体对，计算每个物体对中主体和客体并集边框内的特征，作为联合特征；

2)对于每个物体，由GloVe模型预训练得到其类别名称的词嵌入特征，将物体的物体特征作为视觉特征，将类别名称的词嵌入特征作为语义特征，将物体相对于整幅图像的位置作为位置特征，联合这三种特征得到物体的兴趣特征；对于每个物体对，由同样方式分别计算主体和客体的三种特征，推算出物体对的三种特征，联合得到物体对的兴趣特征；将物体和物体对的兴趣特征输入图卷积神经网络，预测出物体对兴趣度；

3)对于每个物体对，计算关系谓语的视觉特征、语义特征和位置特征，得到物体对关系谓语的兴趣特征，对于每种关系谓语，使用半监督学习预测在物体对有趣的条件下该关系谓语也有趣的概率，即为关系谓语兴趣度；

4)将步骤1)中物体类别预测的损失、步骤2)中物体和物体对兴趣度预测的损失和步骤3)中关系谓语兴趣度预测的损失相加，得到总损失，把最小化总损失所得的物体对兴趣度和关系谓语兴趣度结合，得到视觉关系兴趣度，对所有视觉关系按兴趣度排序，兴趣度高的视觉关系即为最终检测出的兴趣视觉关系。

3.根据权利要求2所述的一种基于兴趣传播网络的兴趣视觉关系检测方法，其特征是步骤2)中，物体的位置特征的计算方法为：

其中，Loc_i是物体i的位置特征，表示并置运算，分别是物体i左边界、上边界、右边界、下边界的坐标，w、h分别是输入图像的宽度和高度。

4.根据权利要求2所述的一种基于兴趣传播网络的兴趣视觉关系检测方法，其特征是步骤2)中，物体对的位置特征的计算方法为：

其中，Loc_p是物体对p的位置特征，Loc_i是物体i的位置特征，s_p、o_p分别表示物体对的主体和客体，∪表示物体级别的并置运算。

5.根据权利要求2所述的一种基于兴趣传播网络的兴趣视觉关系检测方法，其特征是物体对的视觉特征的计算方法为：

其中F_p是物体对p的视觉特征，分别表示物体对的主体和客体的物体特征，表示物体对的主体和客体的联合特征。

6.根据权利要求2所述的一种基于兴趣传播网络的兴趣视觉关系检测方法，其特征是步骤3)中，物体对的关系谓语位置特征的计算方法：

其中Loc′_p是物体对p的关系谓语位置特征，表示并置运算，分别是物体i左边界、上边界、右边界、下边界的坐标，s_p、o_p分别表示物体对的主体和客体，∪表示物体级别的并置运算，w′、h′分别是物体对中主体与客体并集边框的宽度和高度。