[发明专利]一种手势识别方法

说明书

本发明公开了一种手势识别方法，首先，对手势图像做预处理，得到固定尺寸的手势图像。其次，分别使用针对全局和针对局部地特征提取网络获取手势图像的不同特征。其中用于提取局部特征的网络完全由卷积层组成，残差网络结构被用于融合低层与高层信息，输出大尺寸特征图；用于提取全局特征的网络由卷积和池化组成，其池化层输出与局部特征提取网络相应输出相融合作为下层卷积输入，最终输出小尺寸、大感受野的特征图。最终，检测网络1和2分别在大尺寸和小尺寸特征图上检测手势目标，二者检测结果经非极大值抑制处理后输出分类结果。本发明有效减轻了梯度消失和神经元死亡的程度。

技术领域

本发明涉及人机交互研究领域，具体是指一种手势识别方法。

背景技术

近年来随着科技水平的日益提高，人与机器人的交互场景更加丰富多样，传统基于鼠标和键盘的交互方式已经难以满足人与机器人交互的需求。基于手势的交互具有任务间切换时间短，交互方式自然友好的优点，可满足人们对人机交互的需求，而手势识别技术是其核心内容。

目前手势识方法主要分基于传感器和基于视觉两种，其中基于传感器的手势识别需要昂贵的辅助设备，交互方式不够友好自然，难以满足实际人机交互中的需求，而基于视觉的手势识别方法在复杂背景、不同光照下识别能力不稳定。中国专利201810542738.9公开了一种手势识别方法及装置，用以提高手势识别的准确率，减少误操作。所述方法包括：当检测到触摸操作时，检测触点的运动轨迹；触点的运动轨迹用于表示控制终端设备的手势；检测触点的当前移动速率；根据当前移动速率与运动轨迹识别手势。中国专利201510552869.1公开了一种3D手势识别方法，包括以下步骤：S1、物理硬件对用户手势的3D坐标数据进行实时采集；S2、物理硬件对采集到的3D坐标数据进行预处理，形成反馈数据；S3、数据处理软件对反馈数据进行识别处理；S4、系统输出数据识别处理结果。本发明可以有效解决视频手势识别需处理大量的数据，过程复杂，软件处理效率低的问题，直接根据三维空间坐标进行有效的动作判断过程，使处理更为高效。在手势动作产生时，首先在物理硬件中对其进行预判断，然后再把动作可能的结果交给软件进行处理，最后将软件处理的结果与硬件预判断的手势结果进行印证，进一步提高了手势动作的识别率。中国专利201510563293.9提供了一种手势识别方法，该手势识别方法包括：获取含有深度信息的使用者手部的待测图像序列；根据图像深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部轮廓；针对使用者的每只手，利用预设的手部结构模板，在待测图像序列的每帧图像中确定该只手的待测特征点序列；针对使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配序列确定该只手的动作名称和位置；在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势，作为待测图像序列的手势识别结果。

目前的技术研究多是应用于实际人机交互的手势识别方面，但实际的技术需求既需要具备识别速度快，又需要在不同场景下具备识别能力稳定。然而，经过相关技术检索发现，目前尚无充分满足以上要求的手势识别技术。

发明内容

针对以上问题，本发明的目的在于提供了一种可用于人机交互的手势识别方法，解决现有手势识别方法存在的缺陷。在本识别方法中，用户无需佩戴任何附加装置或标记物；将手势识别看作一个回归问题，避免重复计算；使用新型激活函数加速收敛；在不同尺度融合特征信息并在不同尺度识别手势类别。本方法在不同交互场景下具有很好的识别鲁棒性和实时性。

本发明提供一种手势识别方法，该方法主要包括：设计并制作针对人机交互场景的手势数据集；构建深度卷积网络并训练数据集以获取参数权重，摄像头将手势图像输入网络与参数权重做相应运算获得手势识别结果；同时，针对图1，将本发明详细的流程描述下。

本发明根据实际人机交互场景选择手势数据集的背景、手势与摄像头距离。

在选定背景下使用摄像机捕捉手势图像，剔除手势图像中过度模糊、存在歧义的手势。

使用LabelImage标注手势位置和手势类别，完成手势数据集的制作。