[发明专利]一种引入运动学约束的3D网络进行手部姿态估计的方法及系统

权利要求书

1.一种引入运动学约束的3D网络进行手部姿态估计的方法，其特征是包括以下步骤：

步骤1、将原始的深度图中定位出的手部区域转化成体素化的输入；

步骤1-1、利用手部区域定位网络从深度图中定位出手部区域；

步骤1-2、将深度图中定位出的手部区域投影到3D空间；

步骤1-3、针对投影到3D空间的数据，根据预设的体素大小进行离散化处理；

步骤1-4、根据体素各个位置是否被离散的点所覆盖来判断体素各个位置的值，被覆盖则值设为1，未被覆盖则值设为0；

步骤2、引入运动学约束的3D手部姿态估计网络；该网络以体素化的手部区域作为输入，经过3D卷积神经网络，预测表示关节点概率分布的3D heatmap；通过对3D heatmap进行处理，获得各个关节点的坐标以及对应的骨骼长度，从而可以利用修改损失函数的方式对预测的结果添加运动学约束；对预测的结果添加运动学约束需要对3D heatmap进行处理，网络预测出的3D heatmap代表了单个关节点的概率分布，heatmap中最大值的位置也就是关节点的位置；利用3D heatmap获得关节点的位置然后根据关节点之间的对应关系计算出骨骼的长度；提出一个Soft-argmax函数，以一种可导的方式来从3D heatmap中获得关节点的坐标：

其中，X代表的是尺寸为大小的3D heatmap；代表的是soft-max函数；代表的是3D heatmap最大值所在的位置；

步骤3、评估预测的关节点位置的准确性、并评估预测出的关节点所形成的手部姿态的合理性；获得3D heatmap对应的各个关节点的坐标后对预测结果添加运动学约束：

步骤3-1、根据训练数据为每个骨骼长度设定一个标准的范围，即该骨骼的最大长度和最小长度；

步骤3-2、将从3D heatmap中得到的骨骼长度和设定的标准范围进行比较，高于最大长度或者低于最小长度都会受到惩罚，从而为预测结果添加运动学约束，添加了运动学约束的手部姿态估计网络的损失函数如下：

其中，L是整体的损失函数，一共包括三个部分，分别代表了3D heatmap的约束、骨骼长度超过最大长度的约束、骨骼长度低于最短长度的约束；N代表了关节点的数目，N-1代表了骨骼的数目，以及分别代表了预测和真实的3D heatmap，是由预测的关节点坐标计算得到的骨骼长度，与代表了预设的最长和最短的骨骼长度，则代表了损失函数各个成分的权重。

2.一种实现上述权利要求1所述方法的系统，其特征在于，包括以下模块：

用于将原始的深度图中定位出的手部区域转化成体素化的输入的第一模块；

用于引入运动学约束的3D手部姿态估计网络的第二模块；

用于评估预测的关节点位置的准确性、并评估预测出的关节点所形成的手部姿态的合理性的第三模块。

3.根据权利要求2所述的系统，其特征在于：所述第一模块进一步利用手部区域定位网络从深度图中定位出手部区域；将深度图中定位出的手部区域投影到3D空间；针对投影到3D空间的数据，根据预设的体素大小进行离散化处理；根据体素各个位置是否被离散的点所覆盖来判断体素各个位置的值，被覆盖则值设为1，未被覆盖则值设为0；

所述第二模块进一步用于利用引入运动学约束的手部姿态估计网络以体素化的手部区域作为输入，得到关节点的预测结果；该网络以体素化的手部区域作为输入，经过3D卷积神经网络，预测表示关节点概率分布的3D heatmap；通过对3D heatmap进行处理，获得各个关节点的坐标以及对应的骨骼长度，从而可以利用修改损失函数的方式对预测的结果添加运动学约束。