[发明专利]仿3D手势识别系统及方法

说明书

技术领域

本发明涉及智能电视、智能机顶盒领域的手势识别技术，特别涉及一种仿3D手势识别系统及手势识别方法。

背景技术

智能化是电视终端设备的发展趋势，各终端厂家都非常积极，作出了细致的规划，但智能电视产业的发展面临严峻的挑战，除应用及产业链带来的挑战外，用户体验带来的挑战或许更加直接和关键。以往传统的采用鼠标、键盘、遥控器等作为交互手段的人机交互技术已不能满足当前的需要。在此背景下，作为智能人机交互系统的手势识别技术得到快速发展。手势作为一种直观的、自然的输入方式，把人们从传统的接触性输入装置中解放出来，可以以一种更自然的方式与智能设备交互。更加适合大屏幕交互的手势识别必将在TV、机顶盒等家电领域取得广阔的应用前景。

目前应用于电视终端上的手势识别方案主要有两种：1.采用一个2D摄像头进行手势动作的采集，然后进行识别；该方式由于2D摄像头只能采集二维平面手势动作，识别率低、识别的动作类型有限；2.采用一个3D摄像头进行手势动作的采集，然后进行识别；该方式能够采集三维空间的手势动作，识别率高、识别的动作类型广泛，然而成本过高。

但是目前的手势识别技术又面临识别率低、识别的动作类型有限等问题，若采用3D摄像头又面临成本过高的制约，本发明通过两个普通2D摄像头、两套模型实现仿3D的手势识别，使得识别率、可靠性得到提高，同时成本得到较好的控制。

发明内容

本发明所要解决的技术问题是：提出一种仿3D手势识别系统及识别方法，解决传统技术中对手势动作的识别率低、识别动作类型有限及成本高的问题。

本发明解决上述技术问题所采用的技术方案是：

仿3D手势识别系统，包括手势识别单元、主摄像头及辅助摄像头；

所述主摄像头用于采集电视终端屏幕前方的与电视终端屏幕所在面平行的手势动作信息，并传送给手势识别单元；

所述辅助摄像头用于采集电视终端屏幕前方的与电视终端屏幕所在面垂直的手势动作信息，并传送给手势识别单元；

所述手势识别单元用于结合主摄像头采集的手势动作信息及辅助摄像头采集的手势信息进行分析，识别出用户在三维空间的手势动作，并转化为相应的命令传送给电视终端。

进一步，所述主摄像头安装在电视终端上，镜头正对电视终端正前方或与电视终端正前方保持一定夹角；所述辅助摄像头安装在地面上，镜头朝上并平行于电视终端屏幕所在的面或与电视终端屏幕所在的面保持一定夹角。

进一步，所述主摄像头及辅助摄像头均为2D摄像头。

进一步，所述手势识别单元包括：

手势建模模块，用于对手势动作进行数学建模，将手势动作映射到模型参数空间，确立相关的功能需求、处理原则及关联关系，并确立主摄像头和辅助摄像头之间的配合流程和规则；

初始化模块，用于在首次使用该仿3D手势识别系统时，根据主摄像头和辅助摄像头的摆放位置及使用环境自动进行相应的参数初始化设置；

图像预处理模块，用于对主摄像头和辅助摄像头采集到的图像进行相应预处理；

手势检测及跟踪模块，用于从经过预处理后的图像中分割出手势动作并跟踪，确定手部运动区域；

手势特征提取模块，用于提取手势动作的静态特征和动态特征；

手势识别模块，用于结合提取的静态特征和动态特征识别出手势动作，并转化为相应的命令传送给电视终端。

仿3D手势识别方法，包括以下步骤：

a.用户向电视终端发出手势命令；

b.主摄像头和辅助摄像头从不同角度采集包含手势动作信息的图像，并传送给手势识别单元进行相应预处理；

c.手势识别单元从经过预处理后的图像中分割出手势动作并跟踪，确定手部运动区域；

d.手势识别单元提取手势动作的静态特征和动态特征；

e.手势识别单元结合手势动作的静态特征和动态特征识别出手势动作，转换为相应的命令传送给电视终端；

f.电视终端接收相应命令并执行。

进一步，在步骤a之前还包括步骤：

a0.在首次进行仿3D手势识别时，手势识别单元根据主摄像头和辅助摄像头的摆放位置及使用环境自动进行相应的参数初始化设置。

进一步，步骤b中，所述相应预处理包括对图像进行降噪、增强及色彩转换处理。

进一步，步骤c中，从经过预处理后的图像中分割出手势动作并跟踪是指：根据手部肤色、形状、面积参数从经过预处理后的图像中分离出并锁定手部候选区域。