[发明专利]用于估计人体姿势的设备和方法

说明书

技术领域

本发明涉及计算机视觉技术，具体说来，涉及一种能够基于姿势子空间来估计图像中人体姿势的设备和方法。

背景技术

随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥控。此时，人体本身（例如，头部、手部/手指/胳膊、躯干或整个身体）可用作进行控制的实体，从而通过身体部位在真实场景中的各种动作对所述显示的对象进行操作。在这种情况下，可利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿势，借此分析出用户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿势。

人们对如何估计人体姿势进行了大量研究，但是，目前用于估计人体姿势的方案仅在单一层次的姿势空间中直接估计人体姿势，这导致运算量较大，且估计精度不高。在这种情况下，现有的人体姿势估计方案往往主要依赖于大量的姿势样本，但是，即使样本数量很多，也难以涵盖针对不同体型、不同姿势（简单姿势或复杂姿势）的各种样本，而建立如此大量样本的姿势数据库也成为机器学习方法中的难题。

例如，第US20100278384号美国专利申请“Human body pose estimation”提出了一种基于大量人体姿势样本来识别人体姿势的系统。这一方案在很大程度上依赖于样本的姿势，而且训练时间过长。由于上述方案在建立姿势训练数据库时无法涉及各种体型的所有复杂姿势，因此，在估计复杂的姿势时性能显著降低。此外，第US20100197390号美国专利申请“Pose tracking pipeline”公开了一种基于像素簇来产生身体部位的方案，其依赖于第US20100278384号美国专利中公开的像素标记结果。在上述方案中，姿势估计的算法比较复杂，而且在单一层次的姿势空间中进行，因此，姿势估计结果的精确性不高。此外，第US20090252423号美国专利申请“Controlled human pose estimation from depth image streams”、第US2010049675A1号美国专利申请“Recovery of 3D Human Pose by Jointly Learning Metrics and Mixtures of Experts”、第US2011025834A1号美国专利申请“Method and apparatus of identifying human body posture”也均存在类似的问题，导致仅适用于简单的姿势，而在估计复杂姿势时精确度不高，或者，由于运算量大而无法适用于实时系统。

综上所述，现有的人体姿势估计方案往往主要借助于预先建立的姿势数据库，因此这种依赖于姿势数据库的单一方式会由于姿势样本的限制导致无法估计出准确的姿势，特别在估计复杂的姿势时准确性较差。实际上，如果姿势数据库中样本数量过多，也将给机器学习过程带来相当大的难度。另一方面，由于仅在单一层次的姿势空间中直接进行估计运算，这导致运算量较大，且估计精度不高，因此，有必要对现有的人体姿势估计方案进行改进，以提高姿势估计的准确性和有效性。

发明内容

本发明的目的在于提供一种能够基于姿势子空间来估计图像中人体姿势的设备和方法。本发明的另一目的在于提供一种能够以互补方式利用不同种类的人体部件检测器的检测结果来产生人体部件候选的设备和方法。此外，本发明的目的在于提供一种能够有效检测人体躯干部件的设备和方法以及一种能够有效检测人体棍状部件的设备和方法。

根据本发明的一方面，提供一种用于估计人体姿势的设备，包括：图像获取单元，用于获取拍摄的人体图像；部件检测器，用于从获取的人体图像中检测出人体的各个候选部件；以及姿势确定单元，用于将检测出的人体的各个候选部件组装的至少一个假设姿势中最符合预先定义的姿势类别之一的假设姿势确定为人体姿势。

所述预先定义的姿势类别可包括正面姿势和侧面姿势，其中，所述正面姿势包括正面胳膊交叉姿势、正面腿部交叉姿势、正面躯干靠近胳膊姿势中的至少一个，所述侧面姿势包括侧面胳膊交叉姿势、侧面腿部交叉姿势、侧面躯干靠近胳膊姿势中的至少一个。