[发明专利]一种基于多特征融合的手势检测方法

说明书

技术领域

本发明属于人机交互与机器视觉领域，涉及利用手势检测进行人机交互的方法，尤其涉及一种基于多特征融合的手势检测方法。

背景技术

在人机交互领域，目前常见的方法是通过外置设备，如键盘、遥控器、触摸屏等进行交互。与之相比，采用手势识别的方式对使用者的要求更低，且拥有更高的灵活度，更加适用于日常生活。

手势识别按照输入数据的不同可以分为两种方式：一，基于手套的手势识别；二，基于视觉的手势识别。基于手套的方法需要使用者佩戴专用的数据手套，虽然准确率较高，但仍未能达到自然交互的要求，且造价较为昂贵，不利于推广。基于视觉的识别方法对摄像头采集到信息加以分析处理，从而得到手势信息。根据摄像头数目的不同，该方法又可分为基于表象的单目视觉手势识别和基于三维模型的多目视觉手势识别。多目视觉能够得到深度信息，从而获得更丰富的特征。然而，由于多目视觉的建模难度高、计算量大且硬件成本相对较高，因此目前单目手势识别的应用较为广泛，而现有的单目手势识别方法实时性差，准确率不高，人机交互能力差。

发明内容

本发明的目的在于克服现有技术缺陷，提供一种实时性强且准确率高的基于多特征融合的手势检测方法。

为达到上述目的，本发明采用的技术方案是：

一种基于多特征融合的手势检测方法，包括手势分类器训练方法和手势检测方法；

所述手势分类器训练方法步骤如下：

首先、以不同光照和不同距离条件下的常见手势作为正样本，同时选取大量重复性低的室内外图片作为负样本，建立手势集；

其次，根据人手的每个组成部分的特殊性，选择HOG特征、方差特征和Haar特征三种特征融合的方法来训练分类器，通过特征值的计算、样本权重的初始化和调整、训练由多个弱分类器构成的Gentle Adaboost分类器，级联后组成手势分类器；

所述手势检测方法步骤如下：

首先，使用肤色预检模块对摄像头采集到的图像进行肤色预检，将疑似肤色的区域筛选出来；

其次，对被筛选出来的肤色区域使用滑动窗口法进行遍历，并对输入的图像进行等比例缩放后，使之依次进入手势分类器的各级强分类器，将通过前一级强分类器即被判定为手势的检测窗口被送入下一级强分类器，每一级强分类器由若干个弱分类器组成，每一级强分类器的所有弱分类器都会对该检测窗进行判断，并得出一个置信值，将所有弱分类器的置信值相加即为该级强分类器的判断值，将判断值与该级强分类器的阈值进行判断，如某个检测窗通过了所有强分类器的检测，则被认为含有手势，并将其在输入图像中用矩形框标定出来；

最后，对于多次反复被分类器判定为候选手势区域的重叠矩形区且域，根据设置的重叠面积阈值th对窗口进行合并，当两个矩形重叠面积大于th时丢弃小矩形保存大矩形，即可得到该幅图像的手势标定。

所述手势集包括正样本图片、负样本图片以及测试集图片，正样本图片由手势图片与背景图片叠加而成，手势图片包含了手指并拢、手指张开和手指自然弯曲三种基本手势，并加入了适当的左右和前后倾斜，负样本图片包含大量室内和室外图片以及训练过程中产生的误检图片。

在特征值的计算时，首先利用积分图得到矩形区域内的所有点值之和，再进行特征值的计算。

所述Haar特征采用基本Haar特征以及模拟手型的三种扩展矩形特征。

所述HOG特征的计算采用了查表的方法，在训练或检测前创建梯度幅值查询表和K值查询表，针对所有可能的取值情况，预先计算出幅值和K值并存储在两张表中，并以二维数组mag[511][511]和bin[511][511]的方式实现。

所述方差特征通过下式计算：