[发明专利]一种基于深度残差网络的手势识别方法

说明书

为了解决现有技术中的手势识别需要的条件较多、模型的计算量较大的问题，本发明提出了一种基于深度残差网络的手势识别方法包括以下步骤：S1.采集视频数据，将人的手部作为检测目标进行目标检测，并将检测到的人的手部作为图像进行存储；S2.根据S1步骤采集到的人的手部图像获得手部位置坐标，再通过基于深度残差网络的关节识别模型进行手势关键点检测，得到手部关键点坐标；S3.将S2步骤获得的手势关键点坐标输入到SoftMax分类器进行分离，得到各种手势的分类，最终识别手势。本发明识别手势的速度相比其他方案更快。

技术领域

本发明涉及手势识别技术领域，特别涉及一种基于深度残差网络的手势识别方法。

背景技术

手势识别这个术语指的是跟踪人类手势、识别其表示和转换为语义上有意义的命令的整个过程。手势识别的研究旨在设计和开发可以将用于设备控制的手势识别为输入并且通过将命令映射为输出的系统。一般而言，从手势交互信息采集的途径是接触式还是非接触式的，可将手势交互系统划分为基于接触式的传感器和基于非接触类的传感器的两类。

基于接触式传感器的手势识别通常基于使用多个传感器的数据手套、加速度计、多点触摸屏等技术。2004年，Kevin等人设计了一种用于手势识别的无线仪器手套。2008年，北京航空航天大学的任程等人用头盔和数据手套研究了虚拟现实系统中的虚拟手。2015年，山东师范大学的吕蕾等人研究了基于数据手套的静态手势识别方法，能识别25种手势，正确率达98.9％。2007年，Bourke等人提出了一种用加速度计来检测在我们的日常活动中使用的正常手势的识别系统。2017年，电子科技大学的王琳琳等人研究了基于惯性传感器的手势交互方法，准确率达96.7％。2014年，中国科学院大学的薛姣等人研究了一种基于触摸屏的手势遥控系统，平均识别率达99％。

基于非接触式传感器的手势识别通常基于使用光学传感、雷达探测等技术。2002年，提出了使用摄像头采集多尺度颜色特征的手势识别。2010年，清华大学的沙亮等人研究了基于无标记全手势视觉的人机交互技术，提出了一种使用通用摄像头的车载手势视觉交互系统的解决方案，复杂环境识别率达80％。2011年，微软公司公布了Kinect，该摄像头可以借助红外线来识别手势运动。2015年，江南大学的姜克等人使用Kinect研究了基于深度图像的3D手势识别，识别率达76.6％。2015年，谷歌ATAP部门公布了Project Soli，该项目采用微型雷达来识别手势运动，可以捕捉微小动作。

虽然现有技术在不同的手势数据集上实现了较为准确的识别，但是仍然存在以下不足：(1)预处理和特征提取的一些关键参数需要凭人工经验设定。(2)对于各种环境下的手势，仅仅依靠某一独立的特征进行手势识别往往并不能够满足手势识别的要求。

人机交互技术正逐步从以计算机为中心转变为以人为中心，手势识别作为一种重要的人机交互方式受到广泛的关注。手势识别技术是最早通过可穿戴感应手套传感器获取手指的弯曲程度和手部的活动状态来判断用户的手势操作。这种技术需要佩戴专门的设备，成本高且交互方式不够自然，已逐渐被图像识别技术所取代。

传统图像识别技术通过图像的边缘、明亮程度、色彩等特征来分析辨别手势类型，容易受光线变换、遮挡盲区及复杂背景等因素影响，算法鲁棒性低。随着2006年深度学习的提出，基于深度学习的手势识别技术因其较低的硬件需求、更快的识别速度以及更高的识别精度成为研究热点。由于人手是复杂的变形体，手势具有多样性、多义性以及时间上的差异等特点，基于深度学习的手势识别技术目前也存在一些难点。