[发明专利]一种基于深度和彩色图像特征融合的人体姿态估计方法

权利要求书

1.一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于，所述方法包括以下步骤：

步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差Q_i,k、量测噪声协方差和等参数，以及人体关节点的初始状态设置深度图像的姿态量测输出频率是彩色图像的2倍；

步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值及其协方差从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值及其协方差

步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算彩色图像下的状态估计值及其协方差接着计算其状态预测值及其协方差否则，计算其状态预测值及其协方差

步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值及其协方差

重复执行步骤2)-4)完成对人体的各关节点状态进行估计，得出基于深度和彩色图像特征融合的人体姿态估计。

2.如权利要求1所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤1)中，所述的i表示人体各关节点的序号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量。

3.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：在所述步骤1)中，所述的为基于深度图像的人体姿态估计初始状态，为基于彩色图像的人体姿态估计初始状态。

4.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤1)中，所述的人体各关节点状态为在3D视觉传感器的深度相机坐标系下x，y，z轴坐标信息。

5.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤2)中，所述的读取到的人体各关节点位置信息，利用随机森林方法实现人体部位识别的基础上，计算得出人体各关节点的位置信息。

6.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤3)中，所述的基于彩色图像的人体姿态输出，即通过深度神经网络实现2D彩色图像中人体姿态估计，然后在深度和彩色图像配准的基础上，计算得出深度相机坐标系下人体各关节点的位置信息。