[发明专利]一种基于Kinect的中国手语识别方法

说明书

技术领域

本发明涉及人工智能的领域，特别涉及一种基于Kinect的中国手语识别方法。

背景技术

手语是聋人与正常人、聋人与聋人之间进行正常的信息交流和交际的主要方法，它是通过手型、手的位置、手的方向并加上手臂运动、面部表情、唇动以及其它姿势来表达意思的人体可视化语言。中国手语作为手语的一个重要分支，主要分为手指语和手势语。手指语通过手指的轨迹描述一个汉语拼音字母。一共有30个基本单位，中国汉语词中任意一个字词都可以用这30个手指语构成。手势语是通过模拟事物的形象特征、动作等并加上人体姿势和面部表情来表达的。目前大约有5500个常规手势，每个手势代表着一个中国汉语字词。目前中国聋人交往中以手势语为主，配合使用手指语。

目前国内外的手语识别根据输入方式不同，主要分为基于穿戴式设备（数据手套、位置跟踪器、加速器等）和基于传统视觉。基于穿戴式的识别系统，是利用数据手套、位置跟踪器等测量手的各关节角度信息和手在空间运动的轨迹以及时序信息来进行手语识别，该方法的优点在于能方便的获取精确的手形、方向、位置和运动轨迹信息，适合大词汇量手语识别，且识别率高。但基于穿戴式设备的手语识别的缺点是系统需要使用者穿戴复杂的数据手套和位置跟踪器等，直接影响了人机交互的自然性，且这些输入设备昂贵，不利于大量推广应用。基于传统视觉识别的方法利用普通摄像头采集手势视频或者图像信息，再进行识别处理。该方式虽然给使用者带来了很好的人机交互性，但为了提高系统的鲁棒性和有效的进行手部位置、手形、方向等二维特征的提取，识别人需要戴有颜色的手套、穿有要求的服装，并且识别人的背景需要统一的颜色。因此基于视觉识别的方法容易受到背景、灯光、摄像头的位置等环境因素的影响。

手语识别随着词汇量识别的增加，识别搜索空间随着变大，要区别的类别也增多，潜在的词间相似性增加，分辨就越困难；同时随着词条数增加，系统的搜索运算开销及存储开销增加，这将导致系统识别速度的降低和识别率的下降。在中国手语中，大约有5500个常用手语手势，如果为每一个手语都训练一个识别模型的方法是不可能实现的。研究中大词汇量的手语识别的一个行之有效的方法是使用手语的最小构词单位---基元。本方法采用的是将手语分成手型、位置和方向三个方面，通过获取手型基元、位置基元和方向基元识别中国手语。通常采用聚类方法获取手语基元，其中包括K-means聚类算法、DBSCAN聚类算法和CLTree聚类算法。

因此，有必要提供一种基于Kinect（基元）的中国手语识别方法来弥补上述缺陷。

发明内容

本发明的目的在于有效的利用Kinect的优势，提供一种不借助其它任何穿戴式传感设备，人机交互性较好，系统复杂度低，识别率较高的中国手语识别方法，该方法通过将中国手语就手型、位置和方向三个方面分别采用不同的聚类算法获取手型基元、位置基元和方向基元，再通过组合这三类基元进行手语识别。

为实现上述目的，本发明的技术方案是这样实现的：一种基于Kinect的中国手语识别方法，包括以下步骤：步骤1：利用Kinect获取特定手语的手深度信息和人体主要部位的骨骼关节点3D坐标信息；步骤2：根据手深度信息和关节点3D坐标信息计算特征值，分别获取手型特征信息、位置特征信息和方向特征信息；步骤3：根据上述特征信息分别计算手型基元、位置基元和方向基元；步骤4：通过组合特定的手型基元、位置基元和方向基元，与数据库中存储的标准基元比较，实时识别出待识别手语的含义。

进一步包括：利用Kinect的手心获取函数获取手心3D坐标，并以手心为中心，提取出100*100大小的深度信息构成手的深度信息；利用骨骼提取函数获得人体上半身包括左手、左肘、左肩、右手、右肘、右肩、颈部7个主要关节点的3D坐标信息。从获取的手的深度信息中交替获取2500个像素点，并将其中的任一个像素点x与掌心的距离除以所有像素点到手心的最大距离，确保每个像素点的特征值在[0,1]之间，获得2500维手型特征信息。