[发明专利]一种基于三维点云的人手三维姿态估计方法和装置

说明书

本发明涉及一种基于三维点云的人手三维姿态估计方法和装置。本发明主要解决的问题是如何从单张深度图得到的人手点云中恢复人手三维姿态，其主要技术难点在于点云排列无序并且存在较高的噪声问题，人手丰富的手势变化以及由于拍摄角度导致的人手自遮挡等。本发明提出了基于深度神经网络的人手姿态估计算法，能够从丰富的训练数据中自适应提取特征。并且本发明在实时回归人手关节点的三维位置的同时，能够预测点云的局部以及全局特征，利用关节标注的内在联系，帮助网络提高泛化能力，缓解单任务网络提取的特征泛化能力差的问题。经过实际使用验证，本发明具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。

技术领域

本发明属于计算机视觉、计算机图像处理领域，具体涉及一种基于三维点云的人手三维姿态估计方法和装置。

背景技术

近年来，随着计算机视觉技术的发展和计算机算力的大幅度提升，基于视觉的人机交互得到了长足的发展。通过图像或视频处理使计算机具有了“看”的能力，采用了依赖大规模数据的统计方法可以使计算机具备理解分析的能力，这是人机交互中最为自然方便的一种方式。其中，基于肢体动作的交互时视觉人机交互的核心问题之一，包括姿态估计、手势识别、人脸识别、面部表情识别和三维重建等。

人手作为肢体动作中最灵活的部分，操作起来自然、快捷、方便，传递的信息量丰富，应用范围十分广泛，如现在的智能手机、平板电脑，任天堂的Wii，微软的Surface、Kinect等，都使用了拖拽、点击等来实现特定功能。手势交互和手语识别有广泛的应用场景，并且通常需要精确的手部姿态作为基础，但是基于单视角图像的三维人手姿态估计在准确率方面还达不到精细领域的操作要求。因此，精确的人手姿态估计成为了视觉人机交互发展的瓶颈。

近年来，随着机器学习和模式识别的发展，特别是深度学习的带动，使得人手姿态估计有了突破性的进展，但受限于训练数据的质量以及人手形变、模糊、自遮挡等问题，人手姿态估计的精确性、实时性、稳定性等方面还存在明显的不足，因此基于点云的人手姿态估计具有较高的研究和应用价值。

三维人手姿态估计方法分为传统的非视觉算法和视觉类算法，非视觉类算法主要以基于数据手套方法为主，该方法的思路是借助一些常用的传感器来对人手关键点进行检测和跟踪，此类方法缺点明显：造价昂贵、交互方式不自然、关键点易脱离等。视觉类算法分为模型驱动和数据驱动两种类型，其中基于模型的方法需要在高维的参数空间中采用高效的优化算法来使其快速收敛到全局最优，而一般优化的目标函数都是非凸函数，这需要一个较好的初始化权重，否则容易陷入局部最优；另一方面，优化过程需要大量的迭代运算，导致实时性得不到保证，目前只能运用于一些离线型环境中。基于数据驱动的方法有传统方法和深度学习方法，传统方法中的图像特征法思路是：先对图像进行特征的提取，比如边缘特征提取等等，并用最近邻搜索的方法在标注的人手姿态数据库中找到一个最相近的姿态作为最终的估计结果，该方法的局限性也比较明显：过分依赖于数据库的完整性，不能得到数据库里不存在的姿态。深度学习方法使用卷积神经网络对图像进行特征的提取，再使用分类或者回归得到三维关节点的位置，由于深度学习的方法有大规模的数据特征支持，能得到精度优于其他方法的结果。

发明内容

为了满足视觉人机交互的需要，本发明提供了一种基于三维点云的人手三维姿态估计方法和装置。

本发明的一种基于三维点云的人手三维姿态估计方法，包括以下步骤：

构建两阶段级联神经网络，用于回归粗糙的与精细的人手三维关节点位置；第一阶段通过点云神经网络回归粗糙的人手三维关节点位置，第二阶段利用第一阶段的神经网络得到的粗糙的人手三维关节点在人手点云中进行采样聚类，进一步回归精细的人手三维关节点位置；

利用关节点恢复损失对所述两阶段级联神经网络进行训练；

将待估计的深度图像输入训练完成的所述两阶段级联神经网络，得到人手三维关节点坐标。