[发明专利]一种基于任意角度人体图像的正面姿态估计方法

说明书

一种基于任意角度人体图像的正面姿态估计方法属于计算机视觉领域，本发明包括一种多角度人体图像数据集的制作以及针对所提出数据集进行二维人体图像的正面姿态估计的算法设计两部分。数据集制作部分主要通过设计一整套数据的采集和数据的处理的方法，通过数据集的制作为算法设计提供数据支持。算法设计部分主要是通过对目前主流的深度学习算法进行改进，以实现任意角度人体图像的正面姿态估计。本发明可以完成任意角度图像的正面姿态估计，即使对人体自遮挡非常严重的背面图像，或者有部分人体缺失侧面图像也可以有较好的表现。

技术领域

本发明属于计算机视觉领域，具体涉及神经网络、姿态估计等知识。

背景技术

二维人体姿态估计，在行为识别、姿态跟踪等领域有着重要研究价值和应用前景。其本质是研究如何从给定图像中精确识别目标人体并获得目标人体姿态估计的问题。针对二维人体姿态估计的研究方法可划分为早期传统的基于图结构模型的方法以及现今主流的基于深度学习的方法。传统的人体姿态方法通过图模型建立人体姿态架构，参考人体运动学与人体姿态学等理论约束并优化人体姿态模型。而卷积神经网络(ConvolutionalNeural Network,CNN)对二维图像中的人体进行特征提取则可以获得更为精确和稳定的卷积特征。多层卷积叠加可以控制特征感受野的信息感知范围，从而获得不同尺度下的特征信息。通过有策略地对样本进行学习，深度卷积神经网络可以获得图像与标签信息间的复杂映射关系，提取更为丰富的关联信息，使得相关人体姿态估计结果更为精准稳定。

三维人体姿态估计方法可以划分为两大类别:1)通过二维图像，以端到端的方式直接预测三维人体姿态；2)先通过二维图像来估计二维人体姿态，再由二维人体姿态预测三维人体姿态。后者可分为两个阶段进行三维人体姿态估计，第一阶段先由二维人体部位检测器估计二维人体关节点的位置，然后得到二维人体姿态估计，再通过回归或者模型匹配的方式估计二维人体姿态与三维人体姿态之间的映射关系。

在我们的经验里，目前主流的二维人体姿态估计算法都是基于给定图像，通过算法确定各关节点在输入图像空间的位置，并且目前主流的三维姿态估计并不能满足实际需要，尤其是对人体自遮挡严重的侧面图像，因此我们并不能直接通过产生的三维姿态数据，通过旋转加投影的方式得到需要的正面姿态。如图2是对不同角度目标人体的三维姿态估计结果进行旋转平移操作放在一个视角下的结果，可以看出不同角度的三维姿态之间存在较大差异。本发明是根据任意给定的图像，通过算法识别出图像中人的正面姿态。由于现有的关于人体姿态估计的数据集并不能满足本发明的需求，如MPII、MSCOCO和Crowd Pose等，因此本发明给出了一种多角度人体图像数据集制作的过程。根据实际的经验可知不同角度的人的姿态可能有巨大差异，甚至可能会引起歧义，尤其是对于人体自遮挡严重的侧面图像。在行为分析领域发现不同视角图像对行为分析算法的效果有重大影响。得到侧面人图像精确的正面姿态，可能对侧面人图像生成正面人图像的算法进步具有重要意义，因为可以进一步利用姿态信息生成正面的人图像。因此，本发明在实际应用中具有重要的意义。

发明内容

本发明内容为一种基于任意角度人体图像的正面姿态估计方法，问题可以描述为给定一张任意角度二维人体图像，输出图像中人的正面姿态。为了解决这个问题，本发明包括一种多角度人体图像数据集的制作以及针对所提出数据集进行二维人体图像的正面姿态估计的算法设计两部分。数据集制作部分主要通过设计一整套数据的采集和数据的处理的方法，通过数据集的制作为算法设计提供数据支持。算法设计部分主要是通过对目前主流的深度学习算法进行改进，以实现任意角度人体图像的正面姿态估计。

1数据集制作