[发明专利]一种基于三维点云的人手三维姿态估计方法和装置

摘要

本发明涉及一种基于三维点云的人手三维姿态估计方法和装置。本发明主要解决的问题是如何从单张深度图得到的人手点云中恢复人手三维姿态，其主要技术难点在于点云排列无序并且存在较高的噪声问题，人手丰富的手势变化以及由于拍摄角度导致的人手自遮挡等。本发明提出了基于深度神经网络的人手姿态估计算法，能够从丰富的训练数据中自适应提取特征。并且本发明在实时回归人手关节点的三维位置的同时，能够预测点云的局部以及全局特征，利用关节标注的内在联系，帮助网络提高泛化能力，缓解单任务网络提取的特征泛化能力差的问题。经过实际使用验证，本发明具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。

主权项

1.一种基于三维点云的人手三维姿态估计方法，其特征在于，包括以下步骤：构建两阶段级联神经网络，第一阶段通过点云神经网络回归粗糙的人手三维关节点位置，第二阶段利用第一阶段的神经网络得到的粗糙的人手三维关节点在人手点云中进行采样聚类，进一步回归精细的人手三维关节点位置；利用关节点恢复损失对所述两阶段级联神经网络进行训练；将待估计的深度图像输入训练完成的所述两阶段级联神经网络，得到人手三维关节点坐标。