[发明专利]利用手指特征进行层级分类的手势识别方法

说明书

利用手指特征进行层级分类的手势识别方法，涉及人工智能技术领域，通过构建一种嵌入深度稀疏自编码器的层级决策分类器，利用不同手势伸出手指的数量、方向、位置和形状等信息对手势进行逐级分组和分类识别，其主要包括手势图像预处理、手指区域分割、手指特征提取和手势分类识别四个步骤。本发明有益效果：本发明解决了现有手势识别的精度低以及针对光照、方向和尺度改变的鲁棒性差的问题，具有很好的鲁棒性，在识别率和稳定性方面具有显著优越性。

技术领域

本发明涉及人工智能技术领域，具体地说是利用手指特征进行层级分类的手势识别方法。

背景技术

当今，几乎所有的人机交互都是用手来完成的。例如：利用手通过对键盘、鼠标或触摸屏的操作来输入或读取设备的信息；利用数据手套感知手的抓取、移动、旋转等动作，实现与虚拟现实系统的交互。传统的人机交互方式需要繁琐枯燥的操作，甚至需要复杂的硬件系统，这些都给用户带来了极大的不便。随着人工智能技术的发展，基于视觉的手势识别技术实现了非接触式的人机交互，极大的减轻了人机交互对用户的约束和限制，并且有助于人类手势自然表达方式的发挥，在人与计算机交互、人与机器人交互、手语交互、医疗辅助、智能家居、虚拟现实、体感游戏等领域具有十分广泛的应用前景。

视觉手势识别是指对视频采集设备采集得到的包含手势的图像或视频，通过计算机视觉技术进行处理，进而识别出用户不同手势所传递的信息的技术。手势识别分为静态手势识别和动态手势识别两种类型：静态手势识别通过对手势图像的处理，根据不同手指伸出组合的状态进行分类识别，从而确定每种手势所代表的含义；动态手势识别通过对手势视频的处理，根据手运动的轨迹、速度、角度等信息识别手势所表达的信息。

基于视觉的手势识别技术是当今国际上极具体挑战性的前沿课题，并正在引起研究人员的极大兴趣。现有的手势识别方法主要有：基于手势几何特征的方法、基于手势轮廓特征的方法、基于手势形状特征的方法等；尽管目前已有针对手势识别的研究工作，但识别的精度以及针对光照、方向和尺度改变的鲁棒性还远未达到实际应用的需要。

发明内容

本发明所要解决的技术问题是提供利用手指特征进行层级分类的手势识别方法，解决现有手势识别的精度低以及针对光照、方向和尺度改变的鲁棒性差的问题。

本发明为解决上述技术问题所采用的技术方案是：利用手指特征进行层级分类的手势识别方法，包括以下步骤：

步骤一、手势图像预处理：对采集得到的包含手势的图像进行预处理以从中分割出手势区域，并对手势进行方向校正；

步骤二、手指区域分割：根据人手轮廓的生理特点，获取分割所需的候选切割线；然后依据候选切割线分割出手指形状的凸性以及候选切割线的两个端点之间所包含间隔轮廓点数量，确定手势中每一根手指的最佳切割线；最后，利用手指的最佳切割线逐一分割出每个手指区域；

步骤三、手指特征提取：首先，将手指细化成逼近手指中心线的单像素线条，再由手指中心线的像素坐标计算手指的方向特征；然后，根据分割出的每个手指所有像素点在手势圆周面内的方位分布情况来确定手指的位置特征；最后，利用分割出手指尺度不变Hu矩特征构建手指的形状特征；

步骤四、手势分类识别：构建一种嵌入深度稀疏自编码器的层级决策分类器对手势进行逐级分类识别，先利用手指的数量对手势图像进行分组，再利用手指的方向、位置和形状特征在每一组内进行手势类别的细分和识别。

本发明所述步骤一中对手势图像预处理包括以下内容：

1.1、在颜色空间中利用贝叶斯模型分割得到肤色区域：首先，采用手势图像在YCrCb颜色空间中的Cr和Cb分量组成肤色特征向量；然后，分别建立肤色区域和背景区域特征向量的先验概率；最后，利用贝叶斯决策规则根据图像不同区域Cr、Cb分量的值分割出肤色手势区域；

1.2、通过形态学处理去除背景区域中的噪声点；