[发明专利]一种精确的三维手部姿态估计方法

权利要求书

1.一种精确的三维手部姿态估计方法，其特征在于，包括如下步骤：

步骤1，采用预先训练好的卷积神经网络对深度图像中的手势进行二维关节点检测，得出包含关节点二维信息的特征图；

步骤2，根据手部关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分，利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理，直至得出手部各关节点的深度坐标，完成三维手部姿态估计；所述多阶段深度回归方式为：在对选定的手部的第一个部分进行第一阶段深度处理后，后续每个阶段估计的部分均包含前一阶段估计的部分，并在此基础上增加对新的部分的估计；

根据手部邻近关节点之间的约束关系，依据关节点在手部中的位置将手部关节点分为三个部分为：手指根节点部分、中间关节点部分和指间关节点部分，其中，所述手指根节点部分包括掌心和每根手指的根节点；

利用所述步骤1得出的包含关节点二维信息的特征图，采用预先训练好的所述卷积神经网络按多阶段深度回归方式对手部关节点分成的三个部分进行深度回归处理具体包括如下步骤：

步骤21、通过所述卷积神经网络对所述包含关节点二维信息的特征图进行回归处理得到包含手指根节点部分深度坐标的特征图；

步骤22、所述卷积神经网络以所述步骤21得出的特征图作为输入进行迭代处理；

步骤23、对所述卷积神经网络当前回归处理的输出进行几次上采样处理，得到与所述卷积神经网络开始回归处理时输入的特征图尺寸相同的特征图；

步骤24、通过特征连接方式将所述步骤23得到的特征图的输出特征与所述步骤1得到特征图的输出特征融合，将融合得到的结果作为所述卷积神经网络下一阶段回归处理的输入，并在第二阶段估计出根部关节点部分和中间关节点部分；

步骤25、重复所述步骤23和步骤24，并在第三阶段得出手部所有关节点的深度坐标。

2.根据权利要求1所述的精确的三维手部姿态估计方法，其特征在于，所述方法中，对卷积神经网络预先训练的方式如下：

用预先标定手部关节点目标位置的深度图像作为训练用深度图像；

用所述卷积神经网络估计所述训练用深度图像得出手部各关节点位置，计算得出所述手部各关节点位置与预先标定手部关节点目标位置的最小均方误差，并利用所述最小均方误差设定损失函数，通过所述卷积神经网络迭代处理直至得出所述损失函数的最小值，即完成所述卷积神经网络的优化训练。

3.根据权利要求2所述的精确的三维手部姿态估计方法，其特征在于，所述损失函数L为：

L＝L_d+L_r；

其中，L_d为二维关节点检测的损失函数；L_r为深度回归处理的损失函数；

所述L_d由两个沙漏网络的损失函数以加权形式组合而成，具体为：其中，L_d¹为第一个沙漏网络的损失函数，λ₁为L_d¹的权重值，L_d²为第二个沙漏网络的损失函数，λ₂为L_d²的权重值；

所述L_d¹和L_d²通过以下公式得到：其中，L_dⁱ为第i个沙漏网络的损失函数，它表示两个矩阵之间对应点的第二范数的平方和；op是沙漏网络的输出，tg是目标模型，k表示第k个关节，m和n是矩阵的行和列；

该损失函数是将生成的关节热图与目标模型进行比较设计而成，其中，关节热图是通过两个沙漏网络对深度图像中的手部进行二维关节点检测，每个沙漏网络输出生成数量等同于手部关节个数的关节热图；目标模型是由2D高斯函数生成的矩阵，矩阵上的每个点表示可能成为的连接点。

4.根据权利要求1至3任一项所述的精确的三维手部姿态估计方法，其特征在于，所述方法步骤1中，在进行二维关节点检测时，将输出的特征图经过打分处理得到与手部关节点数量对应的矩阵，每个矩阵上的每个元素为当前位置是对应关节点的概率，选取其中最大值所代表的位置作为对应关节点的二维平面坐标作为关节点的二维信息。