[发明专利]一种基于自适应聚类学习的视觉关系检测方法

权利要求书

1.一种基于自适应聚类学习的视觉关系检测方法，其特征在于，所述方法包括：

从输入图像中检测视觉实体并通过上下文信息传递机制识别视觉实体，获得视觉实体上下文表征；

将成对视觉实体上下文表征统一低维嵌入联合子空间中，获取视觉关系共享表示特征；

将成对视觉实体上下文表征分别低维嵌入多个不同聚类子空间中，获取多个初步视觉关系增强表示特征；通过聚类驱动的注意力机制对不同聚类子空间的多个初步视觉关系增强表示特征进行正则化；

将视觉关系共享表示特征，正则化后的视觉关系增强表示特征与视觉关系谓词类别标签的先验条件分布融合，对视觉关系谓词进行综合关系推理；

其中，所述获取视觉关系共享表示特征具体为：

将检测得到的主语视觉实体上下文表征定义为d_i，宾语视觉实体上下文表征定义为d_j，主语视觉实体上下文表征和宾语视觉实体上下文表征包括多个视觉实体上下文表征中任意不相同的两个，将主语视觉实体与宾语视觉实体对应的视觉关系候选区域的卷积神经网络特征定义为f_i,j，视觉关系共享表示特征为：

其中，W_es，W_eo分别表示将视觉实体上下文表征映射到联合关系子空间的联合主语映射矩阵与联合宾语映射矩阵；

其中，联合主语映射矩阵与联合宾语映射矩阵均为将视觉实体上下文表征映射到联合关系子空间的映射矩阵；

视觉关系候选区域为能够完全覆盖对应主语视觉实体候选区域和宾语视觉实体候选区域的最小矩形框；卷积神经网络特征由任意卷积神经网络从视觉关系候选区域中提取得到；

所述获取多个初步视觉关系增强表示特征具体为：

第k个初步视觉关系增强表示特征为：

其中，分别表示将视觉特征映射到第k个聚类关系子空间的聚类主语映射矩阵与聚类宾语映射矩阵，表示得到的第k个初步视觉关系增强表示特征，K表示聚类子空间个数；

其中，第k个聚类主语映射矩阵、第k个聚类宾语映射矩阵均为将视觉实体上下文表征映射到第k个聚类关系子空间的映射矩阵；

所述通过聚类驱动的注意力机制对不同聚类子空间的多个初步视觉关系增强表示特征进行正则化具体为：

将得到的第k个初步视觉关系增强表示特征定义为正则化后的视觉关系增强表示特征得到：

其中，表示将第k个初步视觉关系增强表示特征进行转换的正则化映射矩阵，表示正则化后的视觉关系增强表示特征；

其中，第k个正则化映射矩阵为第k个对初步视觉关系增强表示特征进行转换的映射矩阵；

将第i，j个视觉实体类别标签定义为和聚类子空间的注意力分数为：

其中，表示第k个注意力映射矩阵，w(·,·)表示视觉关系先验函数，表示计算得到的第k个聚类子空间的注意力分数；

其中，第k个注意力映射矩阵为对视觉关系谓词类别标签的先验条件分布进行转换的映射矩阵；

所述将视觉关系共享表示特征，正则化后的视觉关系增强表示特征与视觉关系谓词类别标签的先验条件分布融合，对视觉关系谓词进行综合关系推理具体为：

将视觉关系共享表示特征定义为正则化后的视觉关系增强表示特征定义为视觉关系先验函数定义为w(·,·)，则第i，j个视觉实体对应视觉关系谓词的概率分布Pr(d_i→j|B,O)得到：

其中，分别表示学习到的视觉关系共享映射矩阵与视觉关系增强映射矩阵，表示在主语视觉实体类别标签为宾语视觉实体类别标签为时，视觉关系谓词类别标签的先验条件分布；

其中，将主语视觉实体预测类别标签与宾语视觉实体预测类别标签输入视觉关系先验函数中获取视觉关系谓词类别标签的先验条件分布。

2.根据权利要求1所述的一种基于自适应聚类学习的视觉关系检测方法，其特征在于，所述方法还包括：从视觉关系数据集的训练集样本中统计视觉关系的经验分布，并得到视觉关系先验函数。

3.根据权利要求1所述的一种基于自适应聚类学习的视觉关系检测方法，其特征在于，所述方法还包括：

构建初始化视觉关系检测模型，并使用视觉关系数据集中训练数据训练初始化视觉关系检测模型。