[发明专利]一种三维人手关键点定位方法及装置

说明书

本发明实施例提供了一种三维人手关键点定位方法及装置，所述方法包括：获取实际场景的深度图像；通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标，从而可提高人手关键点三维定位的实用性和可靠性。

技术领域

本发明属于人工智能技术领域，具体是涉及到一种三维人手关键点定位方法、装置、终端设备及计算机可读介质。

背景技术

掌纹、掌脉等生物特征识别技术以及手势识别技术均需要对图像进行手掌检测和关键点定位。掌纹识别中，快速准确识别手掌区域是关键，会影响到掌纹识别的性能。手势识别过程中，如果能够获得人手指、手掌的关节点的坐标位置，就可以通过手指和手掌的相对位置关系判断手势。因此，手掌区域定位和手掌关键点定位非常重要。已有的手掌关键点检测主要基于二维RGB图像或者近红外图像进行检测，主要技术包括三类。第一类是利用手掌的颜色信息进行手掌与背景的分割，并根据手掌的轮廓信息进行关键点位置推断；第二类是直接使用轮廓提取算法对图像中的手掌进行轮廓提取，获得包含手指、手掌、手腕等部位的轮廓信息，并依据此信息进行进一步的关键点推断；第三类是利用深度学习技术，对图像使用物体检测的深度神经网络，直接得到包含手掌的矩形框，然后定位手指指节纹线线段，进而获得手指、手掌的关节点位置，即关键点位置。

与本发明最相近的专利为CN 108427942 A，该专利包括以下步骤：S1、采集训练样本；S2、构建网络模型：构建CNN（卷积神经网络）特征提取网络、RPN（区域生成网络）候选区域提取网络和判别网络；S3、训练网络模型：初始化CNN特征提取网络、RPN候选区域提取网络和判别网络；S4、构建检测模型；S5：手掌检测和关键点定位。该专利提出的技术使用了当时性能最高的物体检测框架Faster R-CNN进行手掌区域快速定位，并使用关键点定位网络模型对待检测的手掌图像进行手掌轮廓检测与关键点定位。该专利使用近红外图像作为物体检测框架和关键点定位网络模型的输入，与RGB图像相比，受光线影响相对较小，但光线依然会造成影响，同时无法防伪，如果使用打印好的静态二维手掌图片，也能够直接识别，这使得后续的生物特征识别和手势识别不可靠。此外，该专利使用二维近红外图像做关键点定位，无法定位关键点的三维信息，当手掌存在角度偏转时，二维图片的手势识别会受到严重影响。

发明内容

有鉴于此，本发明实施例提供一种三维人手关键点定位方法、装置、终端设备及计算机可读介质，能够提高人手关键点三维定位的实用性和可靠性。

本发明实施例的第一方面提供了一种三维人手关键点定位方法，包括：

获取实际场景的深度图像；

通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；

对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；

通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；

若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标。

本发明实施例的第二方面提供了一种三维人手关键点定位装置，包括：

获取模块，用于获取实际场景的深度图像；

分割模块，用于通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；