[发明专利]一种基于彩色图像的人手三维姿态估计方法和装置

说明书

本发明提供一种基于彩色图像的人手三维姿态估计方法和装置。主要解决的问题是如何从单张彩色图像恢复人手三维姿态，该问题主要的技术难点在于彩色图像具有多变的光照影响，人手丰富的手势变化以及由于拍摄角度导致的人手自遮挡等。本发明提出了基于深度神经网络的人手姿态估计算法，能够从丰富的训练数据中自适应提取特征，并且在实时回归人手关节点的三维位置的同时，能够预测人手区域的深度信息，利用深度信息和关节标注的内在联系，帮助网络提高泛化能力，缓解单任务网络提取的特征泛化能力差的问题。经过实际使用验证，本发明具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。

技术领域

本发明属于计算机视觉、计算机图像处理领域，具体涉及到一种基于彩色图像的人手三维姿态估计方法和装置。

背景技术

视觉人机交互通过图像处理或视频处理使计算机具备“看”的能力，并依赖大规模数据的统计学习方法使之具备理解分析的能力，是人机交互中最自然最方便的一种方式。其中基于肢体动作的交互是视觉人机交互的核心问题之一，包括姿态估计、人脸识别、手势识别、面部表情识别、三维重建等。

人手作为肢体动作中最灵活的部分，操作起来自然、快捷、方便，传递的信息量丰富，应用范围十分广泛，如现在的智能手机、平板电脑，任天堂的Wii，微软的Surface、Kinect等，都使用了拖拽、点击等来实现特定功能。手势交互和手语识别均有广泛的应用场景，且需要精确的手部姿态作为基础，而基于单视角图像的三维人手姿态估计在准确率方面还达不到精细领域的操作要求，因此，精确的人手姿态估计成为了视觉人机交互发展的瓶颈。

近年来，机器学习和模式识别的发展，特别是深度学习的带动，使得人手姿态估计有了突破性的进展，但受限于训练数据的质量以及人手形变、模糊、自遮挡等问题，人手姿态估计的精确性、实时性、稳定性等方面还存在明显的不足，因此基于图像的三维人手姿态估计具有较高的研究和应用价值。

三维人手姿态估计是从输入的图像中通过计算得到每个关节点三维坐标的问题，以空间中的某一个参考点为原点，一般以相机的位置作为原点(0,0,0)，建立一个三维的世界坐标系，人手在该世界坐标系下的坐标(x,y,z)即为我们的最终目标。

三维人手姿态估计方法分为传统的非视觉算法和视觉类算法，非视觉类算法主要以基于数据手套方法为主，该方法的思路是借助一些常用的传感器来对人手关键点进行检测和跟踪，但缺点也比较明显：造价昂贵、交互方式不自然、关键点易脱离。视觉类算法分为模型驱动和数据驱动两种，其中基于模型的方法需要在高维的参数空间中采用高效的优化算法来使其快速收敛到全局最优，而一般优化的目标函数都是非凸函数，这需要一个较好的初始化权重，容易陷入局部最优；另一方面，优化过程需要大量的迭代运算，导致实时性得不到保证，目前只能运用于一些离线型的环境中。基于数据驱动的方法主要有传统方法和深度学习方法，传统方法中的图像特征法思路是：先对图像进行特征的提取，比如边缘特征提取等等，并用最近邻搜索的方法在标注的人手姿态数据库中找到一个最相近的姿态作为最终的估计结果，该方法的局限性也比较明显：过分依赖于数据库的完整性，不能得到数据库里不存在的姿态。深度学习方法，该方法使用卷积神经网络对图像进行特征的提取，再使用分类或者回归得到三维关节点的位置，由于深度学习的方法有大规模的数据特征支持，能得到优于其他方法的精度结果。

发明内容

为了满足视觉人机交互的需要，本发明提供了一种基于彩色图像的人手三维姿态估计方法。

本发明的一种基于彩色图像的人手三维姿态估计方法，包括以下步骤：

构建多任务级联神经网络，用于同时回归彩色图像对应的深度图像和三维关节点位置；

利用深度图恢复损失和关节点恢复损失对所述多任务级联神经网络进行训练；

将待估计的彩色图像输入训练完成的所述多任务级联神经网络，得到人手三维关节点坐标。