[发明专利]融合方向图的人体姿态估计方法

说明书

本发明公开了一种融合方向图的人体姿态估计方法，包括：进行特征提取得到高层次特征，进行关键点位置图的初步学习检测以及方向图的检测得到位置热图以及方向热图；将预测的位置热图、方向图以及高层次特征进行融合，得到更加精确的位置热图。本发明通过融合方向信息，提高关键点预测精度，与以往的网络结构相比，所提出的深度卷积网络可以得到更多的人类姿态信息。本发明能够有效解决遮挡问题下的姿态估计，对于被遮挡的关键点，当位置热图基本正确时，即使第一阶段的位置网络不能很好地找到关键点位置，后面的融合网络也能准确的预测出关键点位置，鲁棒性更佳。本方法的网络结构参数量相对小很多，在训练阶段对显存的要求不高，训练更容易收敛。

技术领域

本发明属于计算机视觉、图像处理技术领域，涉及一种人体姿态估计技术，具体的说，是涉及一种融合方向图的人体姿态估计方法。

背景技术

随着智能手机、平板电脑等设备的普及，针对人体活动的图像、视频数据每时每刻都在产生，如何让计算机自动理解人体动作也就显得很重要，其应用领域将非常广泛，如人机交互、智能监控等。计算机能够高效自动地理解人体动作，将对整个社会产生深远的影响。在这种背景下，人体姿态估计被提了出来。人体姿态估计的目的就是检测出人体的姿态行为，通过计算机学习理解图像、视频中的人体姿态行为信息，得到数字化的、可呈现的姿态信息。人体姿态估计问题是计算机视觉领域的一个热点问题。深度学习是机器学习研究中的一个新的领域，它模仿人脑的机制来解释数据，例如图像，声音和文本。随着深度学习的发展，深度学习已经运用于多个领域，在计算机视觉领域中的贡献尤为突出。人体姿态估计方面的研究在深度学习的帮助下也获得了长足的进步。

到目前为止，人体姿态估计已经取得了很多的研究成果，但都具有这样或那样的缺陷。概括起来可以分为三大类：1)采用形象化的结构模型，这些方法都是针对人体运动链的关键位置在图片中寻找相应的局部区域，以此进行优化得到姿态估计模型。但由于人体姿态灵活，结构模型很难建立。2)使用深度卷积网络回归部位关键点坐标。一开始是直接使用卷积网络回归关键点坐标，并且级联了多个关键点回归器，从而提高了回归的精度。之后，又出现了使用卷积网络回归关键点热图的方式。但回归方法的鲁棒性很差，模型可扩展性较差。3)检测热图的方法，即在关键点处放置二维高斯热图，让卷积网络学习产生热图，取热图的峰值作为此关键点的精确坐标。这样的方法具有一定的鲁棒性，但对于被遮挡的部位关键点或者与背景颜色趋于一致的部位关键点很难检测出来。

要进行人体姿态估计，需要解决很多技术问题：(1)遮挡问题是姿态估计中最难解决的问题。分为自遮挡与它遮挡，自遮挡就是人体本身遮住了一部分关键点，这是照片拍摄时的角度问题导致的；它遮挡是指其它物体对于人体关键点的遮挡。在现有的方法中，基本都是直接检测位置热图，让深度卷积神经网络隐式学习人体关键部位之间的关系，这导致遮挡的人体部位难以检测，并且也减慢了训练的速度。(2)前景图与背景图融合，即人体的某些关键点区域与背景图中的相邻区域颜色基本一致，这就导致在关键点检测时无法准确估计出关键点位置，导致检测误差大。(3)关键点之间难以辨别。例如，侧身情况下左右脚难以区分。

发明内容

为解决上述问题，本发明公开了一种融合方向图的人体姿态估计方法，不同于以往直接检测关键点的方法，本发明让卷积网络不仅仅学习关键点位置信息，还学习关键点方向信息。本发明提出方向图来解决关键点的内部方向，通过在一个统一的网络体系结构中集成了身体部位的关键点位置和内部方向来考虑人体的全局姿态信息，通过在深度卷积网络阶段融合这两个信息，完成了对人体更多信息的监督学习。

为了达到上述目的，本发明提供如下技术方案：

融合方向图的姿态估计方法，包括如下步骤：

步骤1，进行特征提取得到高层次特征，进行关键点位置图的初步学习检测以及方向图的检测得到位置热图以及方向热图；

步骤2，将预测的位置热图、方向图以及高层次特征进行融合，得到更加精确的位置热图。