[发明专利]基于深度神经网络的手势识别方法、装置及系统

说明书

本申请提供基于深度神经网络的手势识别方法、装置及系统。所述方法包括：基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；获取来自Kinect摄像头的手势识别模型；利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。

技术领域

本申请涉及手势识别技术领域，具体涉及基于深度神经网络的手势识别方法、装置及系统。

背景技术

人机交互技术已经融入人们的日常生活中，涉及的领域有工作、购物、交流和娱乐等。传统的人机交互设备比如鼠标、键盘和遥控器，这种不自然的交流方式使得交互缓慢而且不自然。对于与3D对象的交互尤其如此，鼠标的2个自由度无法正确模拟空间的3个维度。为了促进和完成人与计算机之间的高级交互，出现了自然交互技术，如：可触摸技术、手势、人脸识别、语音识别、自然导航等。自然交互是指人与计算机生成的模拟交互的能力，这些模拟准确地反映了与真实对象的交互。与使用传统输入方法相比，多模态自然交互为用户提供了更自然的方式与虚拟环境进行交互，也为远程操作提供了技术支持。

人们越来越重视涉及感官的自然交互，使用嗅觉、声音、触觉以及视觉感知，可以提供一系列不同的交互选择。随着用户输入从键盘转移到手势、语音和身体移动等，用户将需要可靠的机制来表达他们的意图。2011年，苹果公司基于语音识别的iPhone个人助理Siri发布，标志着公众对语音识别技术的看法发生了一次变化。第一次用户可以通过语音来输入信息，导航应用程序或提出问题。作为自然交互的一个方面，基于手势的自然交互越来越受到关注。与其他身体部位相比，手被广泛应用，因为它是人类与外界之间交流的天然媒介，比如当用手指向一个物体，表达有关某物的信息或者移动、修改和变换该物体，完全相同的方式用手来打手势完成交互更加直观自然。因此手是最适合人机交互的部位。

手势控制有两种方法，基于触摸和非触摸。触摸屏交互是基于触摸设备的示例，基于触摸的设备的缺点之一是需要与设备直接接触，因此无法从远处进行交互。另一个缺点是这种类型的交互是不自然的，并且过程缓慢。基于视觉的手势识别技术是非触摸的方法，这种识别和跟踪方法为研究人员提供了更多的自由度也不需要戴手套。然而，基于视觉的手势识别技术因复杂的背景、动态照明条件、可变形的人手形状和错误的对象提取可能导致计算机误解手势。如果人是移动的，则手势识别系统还需要满足其他约束，例如图像中手势的大小和对运动的适应性。

Microsoft开发了一个用于体感开发的设备Kinect，该设备具有自然交互的能力。Kinect可以处理基本手势，面部特征，甚至全身运动，如跳跃和踢腿等。用户可以通过物理运动或语音命令控制游戏、电影和音乐。

发明人发现，复杂背景及动态照明条件对Kinect实现动作捕捉影响较小，但是当检测和识别较小的物体，例如占据图像的非常小的区域且具有复杂铰接结构的人手时，存在自遮挡和精确度不足等问题。

发明内容

本申请实施例提供一种基于深度神经网络的手势识别方法，包括：基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；获取来自Kinect摄像头的手势识别模型；利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。

作为一种可选择的方案，所述方法还包括：将所述第一手势识别结果与利用Kinect摄像头根据手部骨骼信息得到的第二手势识别结果加权得到最终识别结果。

作为本申请的一个方面，所述基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数，包括：获取来自摄像头的手势图片；对所述手势图片进行处理和标注得到手势图片的特征；基于所述手势图片的特征对深度神经网络模型进行训练，得到所述手势类型和手势参数。