[发明专利]基于深度学习的实时手势识别方法及系统

说明书

本发明公开了一种基于深度学习的实时手势识别方法及系统，包括以下步骤：采集图像并利用目标检测网络提取所述图像中的手部深度图像；将手部深度图像转化成3D体素化数据，并输入到V2V‑PoseNet网络中获得手部关键点数据；所述V2V‑PoseNet网络为进行剪枝处理的V2V‑PoseNet网络；对手部关键点数据进行预处理后输入到分类网络进行手势动作分类得到手势类别。本发明提供的方法中结合前沿的深度学习模型，避免了引入人工定义特征，模型泛化能力和表达能力较强，扩展性良好。对于系统中使用到的现有模型根据任务的需要进行了剪枝和优化，在不影响精度的前提下提高了模型的速度。在数据集MSRAHand上的关键点检测和动作分类效果良好。

技术领域

本发明涉及深度学习和手势识别技术领域，特别是一种基于深度学习的实时手势识别方法及系统。

背景技术

在人类科学技术取得了飞速发展的今天，人们的日常生活中已经广泛使用人机交互技术，并不断发展出更加丰富的应用。人机交互技术可以通过各种方式、各种语言使得人们和机器设备进行交流，其中就包括手势语言。手势是人们生活当中使用的一种自然而直观的人际交流模式,随着人机交互逐渐向以人为中心转移，对手势识别的研究逐渐成为研究的热点。它为使用者提供了虚拟环境之间自然交互的手段，这是最受欢迎的人机接口技术之一。然而,由于手势本身具有的多样性、多义性、以及时间和空间上的差异性等特点,加之人手是复杂变形体及视觉本身的不适定性,因此基于视觉的手势识别是一个极富挑战性的多学科交叉研究课题。随着图像处理和模式识别等相关技术的不断发展,以及自然人机交互的广泛应用，人们开始着重研究手势识别技术。

现有的手势识别技术存在某些缺陷和不足包括：精度低、速度慢、功耗高、算法不透明等。另外，有些方法在应用范围上有局限性。比如在静态手势识别时常用到的模板匹配的方法虽然速度快，但是却只能处理静态手势，无法识别多帧的视频构成的连续手势动作。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的实时手势识别方法及系统，该方法及系统能实时准确地进行手势动作识别，速度快，精度高。

为达到上述目的，本发明提供如下技术方案：

本发明提供的基于深度学习的实时手势识别方法，包括以下步骤：

采集图像并利用目标检测网络提取所述图像中的手部深度图像；

将手部深度图像转化成3D体素化数据，并输入到V2V-PoseNet网络中获得手部关键点数据；所述V2V-PoseNet网络为进行剪枝处理的V2V-PoseNet网络；

对手部关键点数据进行预处理后输入到分类网络进行手势动作分类得到手势类别。

进一步，所述手部深度图像是通过以下步骤获取的：

获取深度图像和RGB图像；

将RGB图像输入YOLOv3网络，获得手部包围框；

将深度图像与RGB图像对齐，根据手部包围框的坐标裁剪深度图像，分离手部区域和背景区域，得到手部深度图像。

进一步，所述手部关键点数据是通过以下步骤来实现的：

按照以下步骤进行3D体素化数据：将深度图像转化为3D体积形式，将点重新投射到3D空间，并将连续空间离散化，根据体素空间位置与目标对象设置个离散空间的体素值；

将3D体素化数据作为V2V-PoseNet网络的输入，计算每个关键点属于每个体素的似然，识别出每个关键点的最高似然对应的位置，并将其转化为真实世界的坐标，成为手部关键点数据。

进一步，所述预处理包括以下步骤：

确定初始位置：将第一帧手部图像的掌根点作为基准点；