[发明专利]一种基于手势识别的人机交互方法

说明书

技术领域

本发明公开了一种人机交互的方法，具体涉及一种基于人体手势的变化的识别而产生的人机交互方法。

背景技术

随着虚拟现实技术的发展和计算机性能的提高，人机界面的操作方向必然是向高计算机性能、高通信带宽下新的控制方式发展，让用户拥有更便捷的人机交互方式。近年来，手势交互技术已经进行了一些研究，但是由于人手涉及到多处变形复杂的关节体，以及手势本身具有的多样性、复杂性、多义性等特点，手势识别技术还有很大的研究空间。很多现有的人机交互系统都利用了数据手套设备，虽然利用数据手套能够提高识别的准确率，但是也失去了手势交互自然性，并且数据手套设备也比较昂贵。本发明提出的手势操作方式是利用摄像头采集的手势局部图像特征来进行描述、识别和控制的过程，以及如何基于手势控制替代传统的鼠标操作的问题。

在中华人民共和国国家知识产权局专利检索系统中检索“手势”、“人机”、“交互”等关键词，检索到三篇题名与本发明相近：《一种基于语音和手势的多通道人机交互方法》(申请号：201110278390.5) ，该发明通过识别语音和手势可以完成复杂场景下的精确目标指点，与本发明的应用场景不同，本发明立足于通过识别基础的手势用以替代鼠标操作，并确保其可靠性。《一种移动终端压力触控手势识别的人机交互方式》(申请号：201010152888.2)，该发明的技术实现基于压力触摸板，与本发明基于摄像头捕捉手势不同。《基于视线跟踪和手势识别的人机交互方法及装置》(申请号：200810030194.4)，该发明通过摄像头同时捕捉人眼与手的动作进行鼠标定位，并将所有功能封装于一硬件模块中；而本发明则是仅通过捕捉人手进行鼠标定位，除了配置一普通摄像头外，其它工作都由相应的模块来完成。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种人机交互的方法，具体涉及一种基于人体手势的变化的识别而产生的人机交互方法。

技术方案：为解决上述技术问题，本发明提供的一种基于手势识别的人机交互方法，包括以下步骤：（1）拍摄图像视频流过程：启动摄像头，拍摄手势图像视频流；（2）对图像视频流的处理过程：此过程包括两部分：手势分割和手势跟踪；通过对手势图像视频流进行手势分割，将手势图像视频转化为相应的图像帧，再根据相应的图像帧建立手势模板，再利用HSV直方图的粒子滤波算法得到手势的运动轨迹和预测方向；（3）手势识别过程：从图像视频流中得出的图像帧，根据相应的算法软件提取出手势的形状、特征以及位置信息，通过预先建立相应的手势模板对手势进行识别，然后再设置对应的鼠标位置和动作，同时转换为相应的系统鼠标事件；（4）手势交互过程：预先定义手势映射模型，根据手势识别的结果建立手势交互的对应关系，转换成相应的系统指令，例如，鼠标单击、鼠标移动等，然后根据需求驱动特定的系统动作模拟相应的系统鼠标事件，进行人机交互。用户手势在计算机屏幕或者投影屏上指点的位置，通过一个放大的鼠标指针来指示，因此无须对计算机系统做出修改。另外，软件还预留了接口可以根据用户的定义进行功能的扩展。

所述步骤（2）中的手势分割是通过背景建模、运动目标检测建模以及结合HSV肤色检测模型来快速定位检测。

所述的HSV肤色检测模型和光线补偿模型结合使用；在某些特定的环境下，采用自适应的光线补偿技术以弥补肤色检测的不足，保持手势分割的准确性，得到手势的位置和手势区域的直方图等特征。实验结果表明，本发明所采用的方法对复杂的背景有一定的适应能力。

所述步骤（3）中的手势识别包括人脸识别和手势识别，所述手势识别包括手掌模板和握拳模板两种；所述的手势识别过程是采用动态的手势序列识别的方法；所述步骤（2）中的手势跟踪和步骤（3）中手势识别均还包括错误识别程序。本发明通过预先定义手势模板，提取模板的特征，建立当前输入的手势特征的判决函数，通过机器学习方法进行训练，预测的匹配结果作为最后的识别结果，分析出当前手势的含义。手势模板为单色位图，目前只需手掌和握拳两种即可满足需求。在跟踪和识别的过程中还需进行错误识别的判读，如在跟踪手掌手势时，偶然出现数帧非连续性的握拳或其它手势，则需要进行自动排除，避免对后面的交互工作产生干扰。

所述步骤（3）中的手势交互中的模拟系统鼠标事件是通过下列方式实现的：

（1）程序保存历史手势，与当前手势进行比较；

（2）在手势移动的情况下，若手掌摊开则为普通移动，握拳则是拖动选中的目标；（3）在手势静止的情况下，手掌由摊开转为握拳产生鼠标按下事件，握拳转为摊开则产生鼠标释放事件，握拳超过时间限制则产生鼠标长按事件。