[发明专利]一种基于三维点云的人手三维姿态估计方法和装置

权利要求书

1.一种基于三维点云的人手三维姿态估计方法，其特征在于，包括以下步骤：

构建两阶段级联神经网络，第一阶段通过点云神经网络回归粗糙的人手三维关节点位置，第二阶段利用第一阶段的神经网络得到的粗糙的人手三维关节点在人手点云中进行采样聚类，进一步回归精细的人手三维关节点位置；

利用关节点恢复损失对所述两阶段级联神经网络进行训练；

将待估计的深度图像输入训练完成的所述两阶段级联神经网络，得到人手三维关节点坐标；

所述两阶段级联神经网络，以点云为输入，在第一阶段神经网络中，利用采样聚类得到点云簇，之后利用多重感知机对点云进行特征提取，并利用全连接层回归粗糙的人手关节三维坐标；第二阶段神经网络利用第一阶段神经网络得到的粗糙的人手关节点在人手点云中进行采样聚类，并用多重感知机对点云进行特征提取，并利用全连接层回归精准的人手关节点三维坐标；在第一阶段和第二阶段神经网络中利用多层感知机对点云数据进行特征提取，并利用最大池化层对局部点云特征进行融合，以消除点云无序性带来的影响。

2.根据权利要求1所述方法，其特征在于，对所述两阶段级联神经网络进行训练之前进行数据预处理，对点云进行方向与大小的归一化。

3.根据权利要求2所述方法，其特征在于，所述数据预处理包括：

1)对点云数据进行下采样到1024维，再对采样后的点云数据进行主成分分析，得到一个正交的坐标系，对点云进行方向归一化；

2)对人手数据进行统计，将不同大小的人手点云归一化到[-1,1]，并计算每一点的法向量。

4.根据权利要求1所述方法，其特征在于，所述第一阶段神经网络包括第一采样聚类层、第一多重感知机特征提取层、第一全连接层、第二采样聚类层、第二多重感知机特征提取层、第二全连接层；所述第二阶段神经网络包括第三采样聚类层、第三多重感知机特征提取层、第三全连接层。

5.根据权利要求4所述方法，其特征在于，所述关节点恢复损失的损失函数由两个阶段组成，第一阶段含有的两个损失函数是第一阶段回归的两个粗糙人手关节的均方差误差，第二阶段的损失函数是最终回归到的精细化人手关节的均方差误差，总的损失函数由两阶段共三个损失函数求和所得。

6.根据权利要求5所述方法，其特征在于，所述总的损失函数的计算公式为：

L_total(J_pred)＝αL₁(J_pred,J_gt)+βL₂(J_pred,J_gt)+δL₃(J_pred,J_gt)

其中，L_total表示总的损失函数，J_pred表示预测所得的人手关节点位置，J_gt表示标准的人手关节点，L₁、L₂和L₃表示第一次，第二次与第三次全连接网络回归后预测所得的人手关节位置与标准人手关节点位置的差，此处运用的是L2损失函数，α，β，δ表示三部分损失函数的权重分布。

7.根据权利要求4所述方法，其特征在于，所述两阶段级联神经网络中，第一阶段神经网络对点云数据进行两次采样聚类，分别下采样到512维与128维，每次聚类时聚集最近邻的64个点。