[发明专利]一种手势识别方法

权利要求书

1.一种手势识别方法，其特征在于，所述手势识别方法包括：

步骤一、获取含有深度信息的使用者手部的待测图像序列；

步骤二、根据图像深度信息和图像颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；

步骤三、针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像中确定该只手的待测特征点序列；

步骤四、针对所述使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和位置；

步骤五、在预设手势表中选择与所述使用者双手的动作名称和位置相匹配的手势，作为所述待测图像序列的手势识别结果；

其中，步骤五包括：

步骤五一、预先设置如下映射列表来作为所述预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称对的位置；该映射列表中的每个映射的右端是一个手势；

步骤五二、将所述预设手势表中的每个映射的左端与所述使用者双手的动作名称和位置进行匹配，其中，动作名称的匹配执行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位置信息，进而计算该相对位置信息与映射左端的位置之间的相似度来实现的。

2.根据权利要求1所述的手势识别方法，其特征在于，步骤三包括：

步骤三一、针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；

步骤三二、针对所述使用者的每只手，利用该只手在所述待测图像序列的各帧图像中对应的预定数目个特征点，获得该只手的待测特征点序列。

3.根据权利要求1或2所述的手势识别方法，其特征在于，步骤一包括：

通过捕获预定成像区域内的所述使用者手部的图像，获得可见光图像序列和红外图像序列为所述可见光图像序列第i帧图像坐标(x,y)处的像素值，而为所述红外图像序列第i帧图像坐标(x,y)处的像素值，根据如下公式获得抽取使用者双手信息的图像序列：

其中，α、β、λ为预设参数阈值，为获取的含有深度信息的使用者双手的图像序列，作为所述待测图像序列，i＝1,2,…,M，M为所述待测图像序列所包含的图像帧数。

4.根据权利要求1或2所述的手势识别方法，其特征在于，步骤二包括：

针对所述待测图像序列中的每帧图像结合颜色信息删除该帧图像中的噪声点及非肤色区域，利用边缘检测算子E(·)对删除所述噪声点和所述非肤色区域后所得到的图像进行边缘检测，得到边缘图像

所述边缘图像即为仅包含所述使用者手部轮廓的图像。

5.根据权利要求2所述的手势识别方法，其特征在于，步骤三一包括：

针对所述待测图像序列的每帧图像执行以下处理：根据该图像中的轮廓线的曲率，找到该轮廓线中的指尖点和指根关节点；将所述指尖点作为定位基点，匹配每个单指的指根关节点，得到各单指的长度作为尺度缩放的基准；基于所述指尖点和所述指根关节点的位置以及各单指的长度对相应的所述手部结构模板进行缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点；

其中，所述手部结构模板包括左手结构模板和右手结构模板，所述左手结构模板和右手结构模板各自包括：各手指的指尖特征点、各指关节特征点、各指根关节特征点、手腕中点特征点以及各特征点之间的拓扑关系。

6.根据权利要求1或2所述的手势识别方法，其特征在于，步骤四包括：

步骤四一、针对每只手的待测特征点序列，根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平均位置；

步骤四二、针对每只手对应的每个子序列，将该子序列与所述多个预设特征点序列中的每一个分别进行匹配，在所述多个预设特征点序列中选择与该子序列的匹配程度高于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列；

步骤四三、将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相关联；

步骤四四、针对每只手，将该只手对应的各子序列的匹配序列作为该只手对应的多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动作名称。