[发明专利]一种基于隐马尔可夫模型的动态手势识别系统及方法

权利要求书

1.一种基于使用隐马尔可夫模型(Hidden Markov Model，HMM)的视觉实时动态手势识别系统，；

(1)手部特征提取模块：用于对包含手势的每帧视频图像进行手势特征提取，计算手势特征序列；该手势特征序列是利用简单形状描述子表示的手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratio of principal axes)和圆方差(circularvariance)，手势特征序列同时包含使用手部运动方向(orientation)的编码序列构建的表示手部运动轨迹动态的方向编码序列，并对所述描述子以及方向编码序列进行离散化，得到最终的离散化特征向量序列，将所得到的最终的离散化特征向量序列输入到识别模块进行手势识别；

(2)分类器训练模块：用于使用HMM构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；

(3)识别模块：用于对手部区域提取模块输入的离散化特征向量序列进行模型匹配，当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果，并输出手势识别结果。

2.根据权利要求1所述的视觉实时动态手势识别系统，其特征在于手部区域提取模块所生成的手势特征序列为f＝[conv,prax,cvar,x,y]^T，其中conv，prax和cvar分别是手部轮廓的凸性质、主轴长度比例以及圆方差，(x,y)是手部轮廓的形心坐标；

对该手势特征序列进行离散化，得到最终的离散化特征向量序列其中conv′_i，prax′_i和cvar′_i分别为离散化后手势片段S_i对应的3个简单形状描述子，θ′_i是手势片段S_i中的手部运动方向编码，S_i是根据时间顺序将手势视频划分为数量为N_s片段，第i个片段记为S_i。

3.根据权利要求2所述的视觉实时动态手势识别系统，其特征在于分类器训练模块：对于一个类别的动态手势，使用属于该类别的手势视频样本训练一个从左向右型(left-to-right)的HMM，HMM的观察序列是经过离散化操作后的手势特征向量序列，训练过程的输入是如下观察序列：

其中是从第i个手势片段S_i获得的离散特征向量；

使用Baum-Welch算法用于训练HMM手势模型，模型的参数被迭代调整，以最大化条件概率即已知模型参数λ的条件下，生成观察序列的概率，设手势类别的总数为N_g，在训练结束后，手势数据库中存放着N_g个从左向右型的HMM：其中λ_i表示第i个手势类别对应的模型参数,1≤i≤N_g。

4.根据权利要求3所述的视觉实时动态手势识别系统，所述识别模块具体实施：

在手势识别阶段，当输入一个未知类别的动态手势视频后，首先执行特征提取和特征离散化操作，得到HMM的观察序列对于训练好的手势数据库中第i个手势模型λ_i，计算条件概率即已知λ_i的条件下，生成观察序列的概率，待识别动态手势所属的类别计算如下：

表示手势数据库中与待识别手势最匹配的模型，并以其下标i作为识别结果。