[发明专利]一种联合人体检测与姿态估计的深度网络学习方法

说明书

本发明公开了一种联合人体检测与姿态估计的深度网络学习方法，通过CNN模型联合整体与局部信息进行检测，该模型通过共享卷积层高效地提取底层特征，然后将这些特征分别通过两个并联的分支，进行人体检测与姿态估计。本发明通过暗含树结构推理算法的Fusion模型来融合人体检测和姿态估计的结果，以得到鲁棒可靠的人体检测框。本发明通过NMS算法(poseNMS)，利用得到的人体部件的信息，有效地保留下相互遮挡的每一个个体。本发明使用树形结构模型将每个部分的信息嵌入到检测到的边界框中，并使用卷积网络实现推理算法。集合了整体建模与局部建模的优点，对于拥挤遮挡人群和和不常见姿态行为的行人拥有很好的检测效果，能更好的集成到实际应用中。

【技术领域】

本发明属于电子信息技术领域，涉及一种联合人体检测与姿态估计的深度网络学习方法。

【背景技术】

人体检测是辅助驾驶系统和视频监控等应用中的重要任务。目前的人体检测器只能在人体无遮挡或遮挡不严重且人体姿态为常见的姿态动作(如行走)时达到较好的检测效果，当对拥挤人群中被严重遮挡的人体或表现出不常见的姿态动作(如翻越、跌倒等)的人体进行检测时，检测效果不佳。这种情况启发构造新的人体检测器来完成以上两种情况下的人体检测，从而满足更广的应用需求。

实现人体检测的方法主要有两类，一类是对人体的全身进行整体建模；另一种是对身体的构成部分进行局部建模。整体建模的方法虽然在一般数据集上表现的性能较好，但对于拥挤有遮挡人群以及非常见姿态人体的检测效果难以令人满意，原因是这种整体模型不足以表现人体丰富的外观模式；局部建模方法能够对人的肢体部分进行较好的定位，但由于肢体与背景的区分度不足，这种骨架定位对于人体检测效果并未达到最佳，而且这类方法大多只能实现单人的检测。

整体建模与局部建模两类方法各有优劣，通过互补地利用二者的优点，可以在复杂条件下将人体检测达到令人满意的效果。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种联合人体检测与姿态估计的深度网络学习方法。，

为达到上述目的，本发明采用以下技术方案予以实现：

一种联合人体检测与姿态估计的深度网络学习方法，包括以下步骤：

步骤1：构建网络结构

网络结构包括用于特征生成的body网络、人体检测网络H-CNN、人体姿态检测网络P-CNN以及用于整合人体检测网络H-CNN和人体姿态检测网络P-CNN结果信息的Fusion网络；具体构建方法如下：

将图片通过多个卷积层生成共享特征图；

将共享特征图应用于两个并行分支：人体检测网络H-CNN和人体姿态检测网络P-CNN；其中，

①人体检测网络H-CNN使用两级网络结构，由区域提出网络RPN和微调网络RCNN组成；区域提出网络RPN利用共享特征图生成检测目标的候选框(bounding box)，微调网络RCNN使用ROI-Pooling利用每个候选框提取特征，并使用这些特征进行分类和回归；人体检测网络H-CNN的检测结果表示为b＝(x，y，w，h)和分数s(b)，其中(x，y)表示候选框左上角点的坐标，(w，h)表示候选框的长度和高度；

②人体姿态检测网络P-CNN：将人体解剖学上的关节点作为人体姿态关键点，并用树状图模型对其建模；关键点的集合表示为p＝(p₁，…，p_i，…，p_K)，其中p_i＝(x_i，y_i)表示第i个关节点在图像中的位置坐标，K是关键点的数量；人体姿态检测网络P-CNN同时预测人体关键点的位置(2D置信图S)和关键点之间的连接关系，即向量场R；

步骤2：建立Fusion模型