[发明专利]手部检测方法及机器可读存储介质

说明书

本发明涉及图像处理领域。本发明一实施例提供一种手部检测方法及机器可读存储介质，其中所述手部检测方法包括：获取待检测图像，其中所述待检测图像包括对应于同一拍摄场景的红外图像和深度图像；基于第一神经网络模型，提取所述待检测图像的全图范围中的候选手部区域；基于第二神经网络模型，从所述候选手部区域中检测手部位置。由此，提高了手部检测结果的可靠性，解决了手部检测过程中手只能正放在摄像头前面的区域限制的问题，并还实现了人手检测的实时性。

技术领域

本发明涉及图像处理领域，具体地涉及一种手部检测方法及机器可读存储介质。

背景技术

随着最近3D深度相机的推广和逐步走进广大消费者视野，基于深度信息的应用场景使得诞生了许多新的交互技术，同时也带动AR(增强现实)和VR(虚拟现实)的快速发展，因此基于深度相机的手势交互技术无疑成为下一代交互技术的有力竞争者。

手势交互技术涉及的过程和环节主要有：手部检测，手部跟踪，手势识别，交互反馈等，其中手部检测是实现手势交互技术的基础。一般的常见的手部检测算法主要是基于2D彩色图上进行检测或者在深度图上通过传统的图像处理方法找到最近点所在区域默认是手所在位置，这些方法要么完全依赖像素信息导致抗干扰能力差，要么对手部所在位置区域有一定的限制。

但是，在人手活动范围较大的时候，一般的手部检测方案往往不够精确，此外还有一些研究机构和公司致力于用深度学习的方法实现手部检测和识别，但是目前公开的研究成果中，利用深度学习方法的手部检测，大多数只采用深度信息进行手部检测，且无一例外都是对设备和硬件要求较高，难以实时进行手部检测。

目前相关技术(其包括可能正被研发而还未被公开的技术)中有以下的手部检测方案，主要有：

(1)通过深度信息最近点位置默认为手部位置，进行区域划分，再归一化利用图像处理方式找出手，但是该方法会存在区域限制的问题，使得手只能放在最前面；

(2)通过采集和标记数据，进行分类算法模型训练，例如：SVM(支持向量机分类器)，贝叶斯分类器，级联分类器，决策树或随机森林分类器等，找出手的位置，但是该方法中的手部检测易受到干扰、光照、遮挡、手部运动变化等因素的影响而降低检测结果的精确度。

(3)通过采集和标定深度图像作为训练数据，利用深度学习方法，训练类似于SSD，RCNN系列等经典深度学习目标检测框架进行手部检测，但是该方法存在耗时长、硬件要求高的问题，而导致该技术实用性不高，一直都未能真正被业内应用。

发明内容

本发明实施例的目的是提供一种手部检测方法及机器可读存储介质，用以至少解决目前相关技术中手部检测时效性差且精确度低的技术问题。

为了实现上述目的，本发明实施例一方面提供一种手部检测方法，包括：获取待检测图像，其中所述待检测图像包括对应于同一拍摄场景的红外图像和深度图像；基于第一神经网络模型，提取所述待检测图像的全图范围中的候选手部区域；基于第二神经网络模型，从所述候选手部区域中检测手部位置。

本发明实施例另一方面提供一种机器可读存储介质，其中该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的手部检测方法。

通过上述技术方案，提出了以红外图像和深度图像两个维度的数据源来实现对手部的检测，相比于单维度的数据源，提高了手部检测结果的可靠性；另外，由第一神经网络模型从全局图像中提取出候选手部区域，并由第二神经网络模型从候选手部区域中检测手部位置，由此解决了手部检测过程中手只能正放在摄像头前面的区域限制的问题；并且，两个神经网络明确分工并相互配合，其中一个神经网络是通过粗检找到全图范围中的手部区域，另一个神经网络是通过精细检测以进一步定位手在手部区域中的具体位置并对手部区域进行验证，在提高人手检测结果的精确度的同时，还实现了人手检测的实时性。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。