[发明专利]一种基于长短期记忆网络的物体和部件联合检测方法

说明书

本发明公开了一种基于长短期记忆网络的物体和部件联合检测方法。采集多幅已知物体和部件目标框标签的图像，对图像I进行处理获得特征图，再在特征图基础上获取物体、部件候选区域集合及其对应的区域特征；构建基于长短期记忆网络的物体和部件联合检测网络，将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中，利用带动量的SGD算法训练物体和部件联合检测网络；采用训练后的物体和部件联合检测网络对未知物体和部件目标框标签的待测图像进行处理获取物体和部件的检测结果。本发明和以往独立的目标检测或者部件检测相比，能够利用目标和部件之间的关系同时提高目标和部件检测的性能。

技术领域

本发明涉及图像目标检测方法，具体涉及了一种基于长短期记忆网络的物体和部件联合检测方法。

背景技术

目标检测旨在用矩形框标记出图像中的目标及其类别。当下的目标检测方法绝大部分专注于检测图像中的物体，而不是物体上的部件，更不要说将物体和部件联合起来，同时检测。

另一方面，物体检测和部件检测是可以相互促进的。物体检测往往需要更大的感受野，这意味着物体的特征能够提供更多的上下文信息；而部件往往对物体的姿态和部分遮挡问题更加鲁邦。如果我们能够将物体和部件联合起来检测，这意味着我们可以利用物体为部件提供上下文信息，利用部件为物体提供姿态鲁邦的信息，从而达到让物体检测和部件检测相互促进的目的。

然而物体和部件联合检测本身是一个十分困难的问题。两个问题需要首先得到解决：第一、如何对物体和部件之间的关系进行建模，即在什么条件下可以用物体指导部件检测，同理可以用部件指导物体检测。第二、如何利用物体和部件之间的关系同时提升物体和部件检测的性能。

发明内容

本发明的目的在于提供一种基于长短期记忆网络的物体和部件联合检测方法。

本方法首先生成物体和部件的候选区域及其对应的区域特征。然后将这些特征输入到关系建模模块，得到要进行特征融合的物体-部件候选区域对。接着对每一个物体候选区域，融合对应的部件区域特征，同理对每一个部件候选区域，融合对应的物体区域特征，得到融合之后增强的物体和部件区域特征，输入到区域分类和坐标回归模块，得到最终检测的结果。

本发明采用的技术方案是包括如下步骤：

(1)采集多幅已知物体和部件目标框标签的图像I，物体是由部件构成，

物体目标框是含有单个物体的图像区域，物体目标框标签为o_i＝[oc_i,ox_i,oy_i,ow_i,oh_i]，其中i表示物体目标框的序号，oc_i表示物体目标框内包含物体的类别，ox_i,oy_i分别表示物体目标框中心点的x坐标和y坐标，ow_i,oh_i分别表示物体目标框的宽度和高度；

部件目标框是含有单个部件的图像区域，部件目标框标签为p_j＝[pc_j,px_j,py_j,pw_j,ph_j]，其中j表示部件目标框的序号，pc_j表示部件目标框中包含部件的类别，px_j,py_j,pw_j以及ph_j分别表示部件目标框的中心点x坐标，y坐标，以及宽度和长度。