[发明专利]一种联合人体检测与姿态估计的深度网络学习方法

摘要

本发明公开了一种联合人体检测与姿态估计的深度网络学习方法，通过CNN模型联合整体与局部信息进行检测，该模型通过共享卷积层高效地提取底层特征，然后将这些特征分别通过两个并联的分支，进行人体检测与姿态估计。本发明通过暗含树结构推理算法的Fusion模型来融合人体检测和姿态估计的结果，以得到鲁棒可靠的人体检测框。本发明通过NMS算法(poseNMS)，利用得到的人体部件的信息，有效地保留下相互遮挡的每一个个体。本发明使用树形结构模型将每个部分的信息嵌入到检测到的边界框中，并使用卷积网络实现推理算法。集合了整体建模与局部建模的优点，对于拥挤遮挡人群和和不常见姿态行为的行人拥有很好的检测效果，能更好的集成到实际应用中。

主权项

1.一种联合人体检测与姿态估计的深度网络学习方法，其特征在于，包括以下步骤：/n步骤1：构建网络结构/n网络结构包括用于特征生成的body网络、人体检测网络H-CNN、人体姿态检测网络P-CNN以及用于整合人体检测网络H-CNN和人体姿态检测网络P-CNN结果信息的Fusion网络；具体构建方法如下：/n将图片通过多个卷积层生成共享特征图；/n将共享特征图应用于两个并行分支：人体检测网络H-CNN和人体姿态检测网络P-CNN；其中，/n①人体检测网络H-CNN使用两级网络结构，由区域提出网络RPN和微调网络RCNN组成；区域提出网络RPN利用共享特征图生成检测目标的候选框(bounding box)，微调网络RCNN使用ROI-Pooling利用每个候选框提取特征，并使用这些特征进行分类和回归；人体检测网络H-CNN的检测结果表示为b＝(x,y,w,h)和分数s(b)，其中(x,y)表示候选框左上角点的坐标，(w,h)表示候选框的长度和高度；/n②人体姿态检测网络P-CNN：将人体解剖学上的关节点作为人体姿态关键点，并用树状图模型对其建模；关键点的集合表示为p＝(p₁,…,p_i,…,p_K)，其中p_i＝(x_i,y_i)表示第i个关节点在图像中的位置坐标，K是关键点的数量；人体姿态检测网络P-CNN同时预测人体关键点的位置(2D置信图S)和关键点之间的连接关系，即向量场R；/n步骤2：建立Fusion模型/n基于人体检测网络H-CNN的检测结果，使用ROI-Align层将人体姿态检测网络P-CNN的估计结果(S,R)在感兴趣区域b内的部分调整为空间尺寸H×W的特征图，然后，利用Fusion模型将part的得分融合到人体检测的结果中；/n用(b,p₁,…,p_K)表示一个个体的整体和部分的位置，其中，b表示整体检测框的位置和大小，p_K表示第k个关键点的位置；用树状图模型来建模人体的整体与各个部件之间的关系，其中根节点0表示检测框，其他节点表示不同的关键点，节点1表示颈部；每个人体检测的得分表示为：/n /n其中，w_i和w_i,j是每个关键点和连接关系的权重参数，用SVM训练得到；候选框的分数s(b)通过人体检测网络H-CNN得到，每个关键点的分数s_i(p_i)通过人体姿态检测网络P-CNN输出的置信图S得到；r(b,p₁)表示候选框和颈部之间的空间关系，计算方式为：/nr(b,p₁)＝-‖(x₁,y₁)-((x₀,y₀)+v₁)‖²/n其中，(x₀,y₀)表示候选框的左上角点坐标，v₁＝(x_v,y_v)表示人体脖子的位置与候选框左上角的固定偏差；r_i,j(p_i,p_j)表示每两个相连结点的连接关系，该值通过人体姿态检测网络P-CNN输出的PAF图R_i,j计算，计算方法如下：/n /n其中，p_u＝(1-u)p_i+up_i，表示两个相连关键点之间的插值坐标点；/n通过最大化候选框内所有关键点配置对应的分数来计算每个候选框的整体分数，表示为：/n /n最大分数的计算方法为：其中通过对叶子结点的递归计算得出：/n /n其中K(i)是指节点i的子节点的集合，若则表示i为叶子结点；/n为了让整个框架实现端到端连接以便在GPU上实现，通过卷积重构以上推理过程；将p_k定位在以p_i为中心长度为l的网格M中，递归算法中的和r_i,k(p_i,p_k)表示为：/n /n /nw_r为(1/N_u)·(p_k-p_i)/‖p_k-p_i‖，N_u是插值的数量；/n通过设计l²个卷积核来表示p_k在M中的全部位置并将p_k相对于p_i的位置表示为p_k′；卷积核的结构中，通道1中只有p_k′被置1，其余元素均为0；通道2-3中从中心点到p_k′的直线上的值被设为(1/N_u)·p_k′/‖p_k′‖，其余元素为0；/n对于成对关键点i和k，拼接S_k和R_i,k为一个三通道的特征图，并用设计的卷积核进行卷积操作，对生成的l²个结果取最大值，得到关键点部分的结果；随后用过卷积操作得到最终的得分完成推理算法；/n步骤3：非极大值抑制NMS方法PoseNMS/n在得到人体检测结果的集合{(b,p₁,…,p_K)}中，选择得分最高的检测结果，其部件配置为p_i；如果检测结果j的第m关键点与之间的距离小于α·max(h_i,w_i)且小于则将标记为被遮挡，其中h_i,w_i表示候选框的长宽；将第j个检测结果中所有被遮挡的部件标号记为o_j；选取得分高于β的关键点检测结果记为IoU_pose定义为：/n /n其中，为检测结果j中关键点m的得分；/n最终的NMS使用的IoU为：IoU＝IoU_overlap+w_poseIoU_pose；其中，IoU_overlap表示传统的基于整体检测框的IoU值，w_pose设为1并将IoU的拒绝域也设为1。/n