[发明专利]一种基于Kinect的中国手语识别方法

权利要求书

1.一种基于Kinect的中国手语识别方法，其特征在于，包括以下步骤：

步骤1：利用Kinect获取特定手语的手深度信息和人体主要部位的骨骼关节点3D坐标信息；步骤2：根据手深度信息和关节点3D坐标信息计算特征值，分别获取手型特征信息、位置特征信息和方向特征信息；步骤3：根据上述特征信息分别计算手型基元、位置基元和方向基元；步骤4：通过组合特定的手型基元、位置基元和方向基元，与数据库中存储的标准基元比较，实时识别出待识别手语的含义。

2.如权利要求1所述的方法，其特征在于，所述步骤1进一步包括：利用Kinect的手心获取函数获取手心3D坐标，并以手心为中心，提取出100*100大小的深度信息构成手的深度信息；利用骨骼提取函数获得人体上半身包括左手、左肘、左肩、右手、右肘、右肩、颈部7个主要关节点的3D坐标信息。

3.如权利要求1所述的方法，其特征在于，步骤2进一步包括：从获取的手的深度信息中交替获取2500个像素点，并将其中的任一个像素点x与掌心的距离除以所有像素点到手心的最大距离，确保每个像素点的特征值在[0,1]之间，获得2500维手型特征信息。

4.如权利要求2所述的方法，其特征在于：根据获取的人体上半身7个主要关节点的3D坐标计算它们之间的坐标关系，具体包括：计算左手与左肘、左肩的三维坐标关系，右手与右肘、右肩的三维坐标关系，左右手的三维坐标关系与距离，手、肩和颈部的三角关系，以及双手与颈部的三角关系，将上述关系构成21维的双手位置坐标关系信息，再对21维双手位置关系信息值进行PCA降维处理，取降维后的四个主成分值作为手语的位置特征信息。

5.如权利要求3所述的方法，其特征在于：对获取的手深度信息进行处理，首先通过cvThreshold()函数将手深度信息进行二值化处理，然后利用cvFindContours()、cvConvexHull2()和cvConvexityDefects()函数分别获取手型的轮廓、凸包和缺陷图像信息，最后结合原始的3D深度坐标信息确定手的指尖坐标；计算手心坐标到指尖坐标的单位向量（x₁,y₁,z₁），得到手型方向信息；利用双手手肘坐标和手腕坐标，计算手肘到手腕的单位向量（x₂,y₂,z₂），得到手肘方向信息；结合手掌方向和手肘方向根据公式：k(x₁,y₁,z₁)+(1-k)(x₂,y₂,z₂)确定手语的方向特征信息，其中，k为距离参数。

6.如权利要求3所述的方法，其特征在于：采用ABCLTree聚类集成算法，对型特征信息进行聚类，聚类结果作为手语的手型基元；采用DBSCAN聚类算法，对位置特征信息进行聚类，聚类结果作为手语的位置基元；采用K-means聚类算法，对方向特征信息进行聚类，聚类结果作为手语的方向基元.

7.如权利要求6所述的方法，其特征在于：根据手型基元、位置基元和方向基元，采用近邻法和欧氏距离作为相似性度量准则的模板匹配方法，进行基元匹配，确定手语含义。