[发明专利]一种基于长短期记忆网络的物体和部件联合检测方法

权利要求书

1.一种基于长短期记忆网络的物体和部件联合检测方法，其特征是，包括如下步骤：

(1)采集多幅已知物体和部件目标框标签的图像I，

(2)对图像I进行处理获得特征图F_I，再在特征图F_I基础上获取物体候选区域集合R_o及物体候选区域集合R_o对应的区域特征F_o，以及部件候选区域集合R_p及部件候选区域集合R_p对应的区域特征F_p；

(3)构建基于长短期记忆网络(LSTM)的物体和部件联合检测网络，将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中，利用带动量的SGD算法训练物体和部件联合检测网络；

(4)采用训练后的物体和部件联合检测网络对未知物体和部件目标框标签的待测图像进行处理获取物体和部件的检测结果。

2.根据权利要求1所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：

所述步骤(2)包括卷积层、候选区域网络模型和感兴趣区域池化模型，具体为：使用卷积层提取输入图像I的特征图F_I，然后使用候选区域网络模型对特征图F_I处理得到图像上物体候选区域集合R_o和部件候选区域集合R_p，使用感兴趣区域池化模型对特征图F_I以及物体候选区域集合R_o和部件候选区域集合R_p进行处理得到每一个物体候选区域对应的区域特征集合F_o以及每一个部件候选区域对应的区域特征集合F_p；

对于物体或者部件，均采用相同方式进行处理获得候选区域集合；物体候选区域集合R_o采用以下方式处理获得：

首先，候选区域网络预先设定B个不同尺度的参考框，然后对于特征图F_I上每一个像素点位置构建B个不同尺度的参考框，并预测计算像素点位置的B个候选区域：每一个候选区域由预测值集合[s,t_x,t_y,t_w,t_h]描述，其中s表示候选区域中包含物体的预测概率，t_x,t_y分别表示候选区域中心点相对参考框中心点(x_a,y_a)的预测偏移值，t_w,t_h分别表示候选区域的宽w和长h相对参考框宽w_a和长h_a的预测偏移值，具体采用以下公式计算候选区域的位置和大小：

x_r＝t_xw_a+x_a

y_r＝t_yh_a+y_a

w_r＝exp(t_w)w_a

h_r＝exp(t_h)h_a

其中，x_r、y_r、w_r、h_r分别表示候选区域中心点的横纵坐标以及宽和长，x_a、y_a、w_a、h_a分别表示参考框的中心点横纵坐标以及宽和长，exp()表示指数函数；

初始计算[s,t_x,t_y,t_w,t_h]随机生成，在之后的每次迭代运算中，在获得所有像素点位置对应的候选区域后，从所有候选区域中选择候选区域包含物体的预测概率s最高的前N_o个候选区域组成候选区域集合R_o输出；

接着，感兴趣区域池化模型将候选区域集合R_o中每一个候选区域在特征图F_I上对应的区域池化成固定长度的特征F_o，具体是：

将候选区域均分成k×k个小格子，采用以下公式计算每个小格子的特征，组成k×k维候选区域特征：

F_o(i,j)＝∑_p∈bin(i,j)F_I(p)/n_ij

其中，p表示小格子bin(i,j)处内部的像素点，n_ij表示小格子bin(i,j)处内部像素点的总数，i和j表示小格子的横纵序号，i、j＝1～k；F_I(p)表示特征图F_I中的像素点p处的特征，F_o(i,j)表示小格子bin(i,j)的特征；

输出的k×k维候选区域特征再经过两个输出神经元个数都为N_p的全连接层得到每一个候选区域对应的固定长度为N_p的候选区域特征F_o。