[发明专利]一种估计三维人体姿态及手部信息的方法

权利要求书

1.一种估计三维人体姿态及手部信息的方法，其特征在于，由计算机按如下步骤进行：

步骤1：通过景深彩色相机获取彩色图与深度图，并传递至计算机；所述景深彩色相机，可由RGB相机和深度相机/红外相机替代；

步骤2：由计算机进行混合关节预测；本步骤具体为：由景深彩色相机获取被采样人体的25个关节点，其中某些关节点严重偏离，结合LCR-Net深度学习的方法从彩色图估计的13个人体3D关节点进行混合预测，从而获得准确的关节位置：

对于不准确的关节点j，通过LCR-Net获得的关节点的关节角度来对其进行修正从而得到该关节点的准确位置j^*：

其中j_p为该关节点在关节树上的父关节点，是指向z轴方向的单位向量，R为罗德里格斯旋转矩阵，当j在LCR-Net所预测的骨骼中对应的关节点为j′，我们通过下式计算R：

其中E是三维单位矩阵，A为向量的反对称矩阵，j′_p为j_p在LCR-Net中对应的关节点，是j′在关节树上的父关节点

步骤3：由计算机拟合人体模型到关节点，并约束头部方向估计人体姿态和体型；

步骤4：由计算机使用点云数据对拟合结果进行细节优化；

步骤5：由计算机对拟合过程进行优化，并输出结果。

2.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，所述景深彩色相机为一台具有RGB相机、深度传感器和红外投影机功能的相机，进一步说，景深彩色相机为Kinect相机。

3.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，本发明的具体方法如下：

首先，通过景深彩色相机的单帧数据作为输入，该单帧数据包含深度图，彩色图，以及相机从深度图计算得到的人体骨骼与头部方向数据；

然后，使用混合预测的方法获取所需的3D骨骼关节点、3D人手关节点和人体3D点云数据，采用最小化SMPL关节和数据3D关节之间的误差的目标函数，将SMPL+H模型准确拟合到3D骨骼关节点；所述3D骨骼关节点为混合预测后包括手指骨骼关节点在内的数据；

通过最小化SMPL关节和数据3D关节/3D骨骼关节点之间的误差的目标函数，首先对人体姿态进行拟合，得到一个与真实人体姿态体型基本一致的模型；然后，将模型的头部方向约束到人体的头部方向并使用3D点云数据通过一个约束人体点云与模型表面的能量函数来对拟合结果的细节准确性进行进一步优化，从而得到最终的准确的人体估计结果。

4.根据权利要求1所述的一种估计三维人体姿态及手部信息的方法，其特征在于，步骤1的具体方法如下：景深彩色相机为微软的第二代Kinect设备，该设备包含RGB相机/彩色相机、红外深度传感器。