[发明专利]一种基于神经网络的三维手部姿态估计方法

说明书

本发明公开了一种基于神经网络的三维手部姿态估计方法，包括数据预处理、用VGG16网络前十层提取图像特征，并将提取的图像上采样至原图大小，网络用softmax+crossentropy的损失函数优化位置信息提取手部位置信息；将原始图像信息与Scoremap信息融合并以一定程度模糊去除图像背景；将结果输入实例分割网络中，以数据集中二维关键点为作为其真实值(groudtruth)，得到其关键点的置信图；将置信图使用argmax处理后得到其二维关键点坐标，输入后续二维到三维映射网络中，用堆叠的方法映射出关键点在三维场景下的姿态。

技术领域

本发明属于人工智能技术领域的图像或视频信息处理技术，涉及手部姿态估计方法，具体是一种基于神经网络的三维手部姿态估计方法。

背景技术

手势识别、手势姿态估计指的是一种通过图像或视频信息，检测出手的形状以及关键点的技术。其主要目的以及作用是使人们通过简单的信息输入可以与硬件设备完成信息交换即人机交互需求。而随着手势姿态估计领域研究的深入，可以将交互任务简化。手部姿态估计任务性能的提升，可以使人机交互不再限于文字接口或者鼠标键盘控制的用户图像界面。

随着科学技术的不断发展与人民日益增长的美好生活需要，人们更倾向于在日常生活中通过简单物理外设如手机、手柄，随时随地通过手势交互完成简单的信息交换。

传统手势姿态估计大多是针对于有深度信息的图像，如RGB-D图像，采用生成法、判别方法或混合方法等传统算法对手部姿态进行估计。这些方法大多较为复杂、鲁棒性较低，不适应低分辨率或复杂有小部分遮盖的场景图像。

现如今较多方法为基于深度学习的方法来完成此项任务，人工智能技术的进步使得基于深度学习的手部姿态估计效果十分突出。基于此方法的输入信息大致可分为单目的RGB图像、带有深度信息的RGB-D图像以及双视角的图像信息。

由于手部的自由度很高，自遮挡严重，特征不明显，都使这项任务难度较大。同时应用场景的广泛，设备运算能力参差不起，使得现有许多基于神经网络的手部姿态估计方法不能普及落地。其次，很多工作通过图像的深度信息估计人的手部姿态，虽然在评价指标上取得了不错的效果，但深度相机在一定程度上，对光照、抖动等外因较为敏感，且深度信息较难采集，成本较高，不便于生活日常普及。

发明内容

本发明的目的在于，提供一种基于神经网络的三维手部姿态估计方法，该方法从单目二维图像中通过深度学习，得出图像中的手部21个关键点在三维空间中的姿态。

为了实现上述任务，本发明采用如下技术解决方案予以实现：

一种基于神经网络的三维手部姿态估计方法，其特征在于，按下列步骤进行：

步骤一，数据预处理：首先将数据集中所需要的手部位置信息(mask)、二维关键点坐标、三维关键点坐标等信息用matlab处理成二值化信息，以便于后续减少后续网络计算量与训练时间、运算成本；

步骤二，为了更好的估计图像中的手的三维姿态，需要先获得手部在图像中的位置信息，用VGG16网络前十层提取图像特征；

步骤三，将提取的图像上采样至原图大小，网络用softmax+crossentropy的损失函数优化位置信息提取手部位置信息，即Scoremap；

步骤四，为了降低图像背景对后续姿态估计任务性能的影响，将原始图像信息与Scoremap信息融合，以一定程度模糊去除图像背景；

步骤五，将步骤四的结果输入实例分割网络中，以数据集中二维关键点为作为其真实值(groudtruth)，得到其关键点的置信图；

步骤六，将置信图使用argmax处理后得到其二维关键点坐标，输入后续二维到三维映射网络中，用堆叠的方法映射出关键点在三维场景下的姿态。

根据本发明，步骤二所述手部位置信息的获得方法是：