[发明专利]基于视觉的手势识别方法及系统

说明书

技术领域

本发明属于手势识别领域，尤其涉及一种基于视觉的手势识别方法及系统。

背景技术

在人机交互技术中，键盘、鼠标、游戏杆目前是主要的输入工具，人们必须借助这些工具才能实现人机交互，而人的手势可以说是最为自然、直观、易于学习的交流手段，更是人机交互中最好的输入工具，但是由于人手是复杂的变形体，无法用简单的模型加以表示。

最初的研究主要集中在做一种专用硬件设备来进行输入，例如数据手套等。最后人们终于把注意力集中到自然手上，通过专用的加速硬件和脱机训练，一些研究者成功地研制了手势识别系统，但其识别的手势仅限于几种。例如，Freeman和Roth等人提出的基于方向直方图的手势识别系统。1994年，高文等人提出了一种静态复杂背景手势目标的捕获与识别，1995年又提出了动态复杂背景中实施目标的捕获与识别方法。1999年常红等人提出了基于计算机视觉技术的手形手位跟踪方法。2002年邹伟提出了一种基于双信息源的人手空间跟踪方法，其利用视觉输入提取手的平面位置信息，借助于安装于肘部的弯曲传感器获取手臂的弯曲角度，根据所建模型由二者通过模糊计算确定手的深度信息。

基于视觉的手势识别以人手直接作为计算机的输入设备，人机之间的通讯不再需要中间媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制。目前基于视觉的手势识别技术多采用人工神经网络(ANN)、隐Markov模型(HMM)等方法，但这些方法存在算法复杂、实时性不高等缺陷。

发明内容

为克服现有技术中的不足，本发明公开了一种基于视觉的手势识别方法及系统，在由FPGA作为主控芯片，与所述手势图像采集装置构成的系统上通过手势图像采集、图像数据录入、手势图像识别、操作指令执行四个步骤实现一种直接使用人手作为输入工具的简单实时的人机交互方法。

本发明的技术方案如下：

一种基于视觉的手势识别方法，其包括以下步骤：

(1)手势图像采集：通过手势图像采集装置不断采集图像数据更新数据缓存，用于获取用户手势图像数据，作为待识别手势。

(2)图像数据录入：从数据缓存中读取当前两幅连续手势图像数据，每次录入两幅连续RGB图像数据，将这两幅图像的像素值即R分量做差，差值大于15的像素点个数小于阈值，则认为图像静止，若静止进入步骤(3)，否则返回步骤(1)。其中阈值的确定是将开机后的连续两幅图像像素值R分量做差，差值大于15的像素点个数加50作为阈值。

(3)手势图像识别：处理手势图像数据、提取特征并与特征库中的模板匹配得出识别结果；所述手势图像识别包括以下步骤：

(31)图像二值化：将彩色图像进行颜色空间转换之后用全局阈值法将图像划分为前景和背景两个区域，根据前景在整幅图像中所占比例判断图像中是否有手势，有手势进行所述手势分割，否则重新采集图像数据并录入；

(32)手势分割：从经所述手势图像二值化之后的图像中分割出完整的手势图像；

(33)特征提取：根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量；

(34)特征匹配：将待识别手势特征与特征库中模板的特征进行匹配，得出识别结果。

通过将两幅连续图像分别进行上述的图像二值化、手势分割、特征提取、特征匹配得出两个识别结果，若识别结果一致则根据该识别结果执行后续相应指令，否则重新采集手势图像进行识别。

本发明直接用人手作为输入工具，只要采集的图像包含完整的手势，可容忍手势的平移和尺度变化以及一定角度的旋转，大大增强了设备的易用性。

本发明还根据所述基于视觉的手势识别方法，提出了一种基于视觉的手势识别系统，所述系统包括：

手势图像采集装置：用于采集手势图像数据；

控制器：用于录入手势图像数据，并对所述录入图像进行手势识别得出识别结果并发送到嵌入手势识别系统的机器使其执行相应指令。

所述手势图像采集装置将采集到的图像数据写入外接SRAM中，然后控制器则在SRAM中读回图像数据进行后续处理，采用片上RAM作为缓冲。本发明利用Nios II软核，嵌入FPGA内部，与用户自定义逻辑结合构成一个基于FPGA的片上系统。