[发明专利]一种估计三维人体姿态及手部信息的方法

说明书

本发明为一种估计三维人体姿态及手部信息的方法，实现了一种新的以彩色深度相机单帧数据来自动准确的同时估计人体和手部的姿态以及人体实际体形的独特方法。首先将深度相机的关节预测与深度学习从彩色图预测关节的方法结合，同时获取人体的头部的转向解决现有技术不能匹配头部姿态的问题。同时，在人体估计中同时还原人手的姿态，使人体结果更形象具体，使用深度学习的方法从彩色图预测出手的3D姿态，然后使用3D人体关节拟合能量模型来完成人体姿态与最新的参数化人体模型SMPL+H的拟合。最后将获取的人体表面点云与拟合的模型进行配准提升人体形状估计的精确程度。籍此估计出一个准确的包含手部真实姿态的三维人体模型。

技术领域

本发明属于图像处理技术领域，具体为一种估计三维人体姿态及手部信息的方法。

背景技术

我们致力于以景深彩色相机/Kinect的单帧数据准确的估计穿着衣服的人的裸体形状及姿态，包括手部的准确状态。相对一些复杂的系统，我们仅使用一个消费级的深度相机，并且仅利用其一帧的数据即可真缺估计任意姿态下的人体。在此工作中，我们提出了创造性的混合关节预测方法，即将深度相机从深度数据预测到的人体关节与以深度学习方法从彩色图像预测到的3D关节相结合从而得到更准确鲁棒的关节位置，并能同时从相机得到人体的头部实际转向。同时我们能比较超前的同时估计出人手的姿态达到一个人“全体”的估计，为此我们进行人手的姿态的预测，然后建立一个新的以3D关节等信息拟合出人体的能量模型，辅以单面人体点云从而获取准确的估计结果。现存的工作或花费较大或较为复杂或有缺陷，我们的系统一定程度上填补了这项空缺。如图1，简单展示了我们的系统的内容。

重建人体有很多相关的工作，但之前的工作都有着其缺陷或局限。文献[13,14]使用多立体相机系统获取3D扫描序列，结合模型[8]来重建人体，但花费昂贵。文献[3,4,5,6]使用多个位置的Kinect或彩色相机进行重建，文献[11,12]在多相机的基础上使用静态统计模型提升结果的鲁棒性。但上面这些方法依然需要较大的花费以及要求一定的空间，而我们的方法仅仅需要一个消费级的深度相机即可方便准确的估计出三维人体。

也有一些工作致力于单相机的人体重建。文献[1,2]以单个相机的多角度数据进行重建，但要求人静止不动，而我们的方法只需要人在镜头前摆出随意姿势。文献[9,10]以单个深度相机获取人的一周的扫描序列结合人体模型来匹配估计人体，而我们只需要获取人的一帧的数据，对人的要求更低，过程更为迅速便捷。

另有一些使用关节拟合的方式进行重建的方法，我们的方法与其类似。文献[15]只需要一张RGB图像即可估计人体，他们预测图像人体的2D姿态后，与模型[8]进行拟合，文献[16]作出改进，使用图像人体轮廓进行约束，但这些方法的结果非常依赖2D姿态的预测且2D姿态与3D维数的差距也会一定程度造成一些躯干四肢的耦合问题。

当前的人体重建方法根据所采用的方式可以分为无模板的和基于模型的，而静态统计模型在其中占有相当的分量，下面我们从三个方面回顾相关的工作：1)人体模型；2)无模板的人体重建；3)基于模型的人体重建。

人体模型。静态统计人体模型对人体重建可以提供很强的约束，使结果更加的鲁棒。扫描设备的发展，产生了丰富的人体扫描模型，Anguelov等[7]基于这些模型库建立了分开表示人体形状和姿态的统计模型，SCAPE模型以三角网格的变形来生成不同的姿态和形状,但是模型基于高维的特性使得其不利于计算。文献[22]在SCAPE标准姿态下的训练集顶点坐标上使用PCA，同时以线性混合蒙皮(LBS)来进行姿态变换，使SCAPE更有效率。为了增加形状空间的表现力，Chen等[23]将SCAPE与局部多线性模型进行结合。最近的模型来自是文献[8,24],前者使模型基于顶点变换，使用线性函数进行姿态和形状的变形，仅使用CPU即可进行实时动画且能直接用于各种渲染引擎，后者创建了基于身体局部的模型。Romero等[20]在SMPL上进行扩展，将手部模型嫁接到SMPL上得到SMPL+H模型，使模型更形象化还有一些文献[25]将动态软组织变形加入到模型变换中，使结果更加真实。