[发明专利]一种用于人体姿态的估计方法和系统

说明书

本发明给出了一种用于人体姿态的估计方法和系统，包括将图像输入包括四层编码层和四层解码层结构的编码解码器网络中训练，输出语义分割结果；利用能量函数将前两个编码层中获得的像素语义概率图转换为边缘激活像素图，响应于像素的激活值大于激活值阈值，该像素为边缘像素；基于语义分割结果中的语义标签将属于同一实例的像素聚集获得实例分割结果，实例分割结果包括表示每个像素所属实例的掩码；利用全卷积网络生成人体骨骼置信度图，输出每个实例中每个像素所属骨骼部件标签，通过全连接网络回归关节点位置，在每个实例内进行关节点的连接构造出人体的骨架结构获取人体姿态信息。该方法和系统改善了人与人之间姿态估计中存在的交叉现象。

技术领域

本发明涉及计算机视觉的技术领域，尤其是一种用于人体姿态的估计方法和系统。

背景技术

人体姿态估计技术(Human Pose Estimation Technology)又称人体姿态识别技术，旨在将图像或视频流中人体像素映射到肢体的三维曲面，可以连续、自动、快速提取图像或视频流中存在着的人体各个关节部位的位置信息，其中涉及了很多计算机视觉任务，如目标检测，姿态估计，分割，等等。在由该技术得到关节点位置信息的基础上可以进行大量建模，其应用场景不仅包括人体关节点定位，如图形(Graphics)，增强显示(AugmentedReality,AR)，人机交互(Human-Computer Interaction)，还包括3D目标识别等很多方面。

人体姿态估计技术在行为识别、人机交互、游戏、动画等领域有着很十分广阔的应用前景，例如游戏领域的体感类游戏；安全领域的可以应用于家庭监控,如对独居家中老年人摔倒情况的识别，通过监控识别出特殊的人体姿态,以便及时作出响应；教育领域的可以应用于智慧课堂，如对教学活动中学生上课情况的识别，例如对课堂上举手、上课睡觉等行为的感知。

然而，传统的人体姿态估计技术对硬件较为依赖，例如基于Kinect的人体姿态估计已经成功应用于体感游戏领域并取得过成功，然而，这种技术对硬件要求很高，并有感知距离、感知精度上的局限性，不可避免地出现了硬件配置操作复杂、远距离人像不敏感，受环境因素影响大等问题。

深度学习在计算机视觉领域的快速发展，使得人体姿态估计技术逐步摆脱对硬件的依赖，发展为利用深度学习的方式对图像进行人体姿态估计。基于深度学习的方法摆脱了硬件束缚，依赖于输入的图像信息即可，并且这种方式实现了精度高、速度快、对人像敏感并受环境因素影响小等方面的突破。

目前，比较流行的人体姿态估计方法主要基于以下两种思想。

一种是自顶向下的思想。这种思想是通过回归出图像中所有人体的边框区域，再对每个方框中的人进行单人人体姿态估计以得到每个人的关节点位置信息，即先得到所有人的位置信息，再由每个人的位置信息得到关节点的位置信息；另一种是自底向上的思想。这种思想是先回归出输入图像中所有人的每个部位的关节点位置，再对图像中所有关节点进行逐步连接，进而得到每个人的人体骨架结构。即先得到所有关节点的位置信息，再由关节点的位置信息得到人的位置信息。

基于自顶向下思想的人体姿态估计方法通过从图像中预测出丰富的人体边界框，然后通过非极大值抑制等操作得到最终的边界框，再对每个方框中的人进行单人人体姿态估计以得到每个人的关节点位置信息。这不仅会导致计算量的增加，而且人体姿态估计结果依赖于边界框回归准确率。而现有的基于自底向上思想的人体姿态估计方法，如OpenPose，其先进行人体各个关节点的检测，再进行关节点的连接进而构造出人体的骨架结构，然而，这种方式在多人交互的场景下的容易出现关节点误连接的情况。

也就是说，虽然自顶向下的方式能很好地改善关节点误连接的情况，但由于它的运行速度与人数成正比导致复杂场景下不适用。而自底向上的方式很好地改善了上述问题，但却容易出现关节点误连接的情况。

发明内容