[发明专利]基于手指轮廓和决策树的静态手势识别方法

说明书

技术领域

本发明涉及计算机视觉的图像处理方法，特别是一种从深度图像中采用基于手指轮廓和决策树的静态手势识别方法。

背景技术

静态手势识别的研究重点对象是手的姿态和单个手形，通常是基于视觉的2D手势识别，通过颜色、深度或运动将手部区域分割出来，再对之进行各种特征提取，然后训练分类器，最后进行测试。最简单的静态手势识别系统，即通过寻找有几个指头来区分数字手势，无需设计分类器，但对复杂手形识别无效。目前常用的可对复杂手形进行识别的算法包括基于模板匹配的方法、基于神经网络的方法等。

模板匹配是一种最原始、最基本的模式识别方法，也是常用的静态手势识别方法。当识别对象以图像的形式表现时，根据该对象与预先建立的一组手势模板库中的模板逐一比较，得到与之相似度最大的模板，得出被测手势即属于该模板所属类别的方法，叫做模板匹配。这种方法的缺点是当模板库较大值，该方法的识别速度会较慢。基于神经网络的方法具有分类特性及抗干扰性，具有自组织和自学习能力，具有分布性特点，能有效抗噪声和处理不完整的模式以及具有模式推广能力。该方法的特点是需要进行大量的实例学习。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于手指轮廓和决策树的静态手势识别方法，从而针从Kinect的深度图像快速准确地识别出静态手势。

为了解决上述问题，本发明公开了一种基于手指轮廓和决策树的静态手势识别方法，包括以下步骤：

步骤1：获取Kinect的深度图像及使用Kinect for Windows SDK中的骨骼追踪技术获取手掌心坐标S₀，同时以掌心坐标S₀为中心截出一块包含手掌图像的正方形区域；

步骤2：采取自适应邻近值法对深度图像进行分割，以取得精确的手掌轮廓和手腕的大概方位，然后对手掌轮廓进行图像形态学处理以降低手掌轮廓的细节；

步骤3：对手掌轮廓进行椭圆拟合，以椭圆圆心为轮廓的几何中心S₁，建立圆周序列曲线，求出圆周序列曲线上的所有极大值和极小值，并使用一个极大值和左右各一个极小值构成极值点对；

步骤4：求极值点对内的所有轮廓点，通过计算每个轮廓点的梯度排除掉不合适的轮廓点，剩下的部分便是手指轮廓或是手腕轮廓；

如果步骤2获取了手腕的大概方向，那么所在方向的轮廓便是手腕轮廓，如果步骤2未曾获取手腕轮廓，那么比较各轮廓的宽度，取其中宽度最大的且比任何其他的轮廓宽度均大两倍以上的为手腕轮廓；

从手掌轮廓内减去所有的手指轮廓和手腕轮廓，对剩下的手掌轮廓进行椭圆拟合，取椭圆圆心为手掌中心S₂；

步骤5：求出各手指的宽度、长度、面积、夹角、指尖之间的欧几里德距离、指根之间的欧几里德距离、指中心之间的欧几里德距离以及指尖到手掌中心S₂的欧几里德距离作为特征向量建立特征集；

步骤6：针对相同手指个数的手势使用决策树对特征向量进行训练，这样便会产生多个决策树，在识别的时候先比较手指个数，然后再使用相应的决策树进行分类。

本发明步骤2中，邻近值法指利用掌心坐标及其深度信息，使用一个先进先出队列Q进行前景检测，从而把前景手掌提取出来。具体执行过程如下：先将所有像素点置为白色，掌心坐标S₀因为已被发现，所以设为源像素，置为灰色同时入队。只要队列不为空，就循环执行出队操作，对于每一个出队的像素点P_ij如果P_ij与掌心坐标S₀的深度值之差不超过Threshold，则将该像素置为黑色，否则置为白色。如果为黑色则计算该像素P_ij的深度值及与其曼哈顿距离为1的所有白色像素P_while的深度值之差，其中差不超过1的就将P_while设为灰色P_gray同时入队列。当队列为空时，算法终止，标为黑色的像素便是前景像素。

自适应邻近值法指不强行规定Threshold应该取何值，每次进行前景检测时Threshold的值先从3开始取，然后依次递增分别使用邻近值法获取前景图像，当连续两次进行前景检测所得前景图像差别已经不大时，表明已经趋向于稳定，算法终止，Threshold的值不用再递增。取已经稳定的前景图像与上一次并未稳定的前景图像之差，这个差值图像里最大的一块区域便是手腕的位置。