[发明专利]一种人机交互系统及其实时手势跟踪处理方法

说明书

技术领域

本发明涉及人机交互技术领域，尤其涉及的是一种人机交互系统及其实时手势跟踪处理方法。

背景技术

人机交互技术是目前用户界面研究中发展最快的领域之一，对此，各国都十分重视。美国在国家关键技术中，将人机界面列为信息技术中与软件和计算机并列的六项关键技术之一。在美国国防关键技术中，人机界面不仅是软件技术中的重要内容之一，而且是与计算机和软件技术并列的11项关键技术之一。欧共体的欧洲信息技术研究与发展战略计划(ESPRIT)还专门设立了用户界面技术项目, 其中包括多通道人机交互界面(Multi-Modal Interface for Man-Machine Interface)。保持在这一领域中的领先，对整个智能计算机系统是至关重要的。

人体所获得的信息80%来自视觉，因此，从自知心理学的角度研究基于机器视觉的人机交互方式是解决人机交互的重要手段。手势是人机交互过程中一个非常自然、直观的交互通道，因此研究手势检测跟踪识别技术不仅有助于实现自然的人机交互，而且有助于机器人通过模仿用户的示范动作习得技能。

由于手势本身具有的多样性、多义性以及时间和空间上的差异性等特点，加之人手是复杂变形体以及视觉本身的不适定性，因此基于视觉的手势识别是一个多学科交叉的、富有挑战性的研究课题。

目前的基于手势的人机交互主要有三种方式，一是麻省理工大学为代表的，利用数据手套、数据服装等装置，对手和身体的运动进行跟踪，完成人机交互；第二种是以微软为代表的体感游戏，它采用深度摄像头和RGB摄像头来实现手和身体的位置跟踪。前面两种方式都具有高成本的特点，不宜于企业，特别是竞争激烈的家电企业的广泛应用；第三种就是业内众所周知的HandVu，它以普通摄像头为研究的对象，具有成本低、实时性能好等优点，但在跟踪过程中由外界环境影响较大，不能很好地解决由于光照和背景复杂而带来的跟踪失败问题。

2010年微软推出的Kinect 体感游戏，因其自然直观的人机交互功能，而使其深受广大消费者青睐。该系统采用了双摄像头（深度摄像头和RGB摄像头）有利于多传感器的信息融合，因此具有较高的手势检测和跟踪精度，但其成本高。相反，基于普通单摄像头的实时手势检测跟踪器在这方面具有很强的优势，但其对手的跟踪和检测的准备度和精度都存在一定的不足，究其原因主要有：（1）手本身不是刚体，在运动过程中可能存在不同程度的形变;（2）光照条件的影响和变化；(3)对目标跟踪没有一个可信度度量标准，因此，当系统跟踪了其他目标而导致的跟踪失败问题难以解决。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种人机交互系统及其实时手势跟踪处理方法，本发明可解决手等非钢体目标在普通单摄像头下的跟踪与检测不准确的问题，并可解决由于光照和背景复杂而带来的跟踪失败问题，利用计算机视觉与图像处理技术实现了自动的人手检测、跟踪与手势识别，实时、鲁棒、易于实现和操作，能使计算机用户通过手部姿态与计算机进行更自然、更直观、更智能的交互。

本发明解决技术问题所采用的技术方案如下：

一种人机交互系统的实时手势跟踪处理方法，其中，包括步骤：

A、获取用户侧的图像信息并进行相应的图像降噪和增强处理；

B、对经过处理的图像信息通过手势检测单元进行人手检测，完成手势与背景的分离，并通过视觉算法在图像信息中自动确定包围人手的一个较小矩形框为感兴趣区域；

C、通过手势跟踪单元，在所述图像信息中的感兴趣区域完成手势特征点的亚像素级跟踪，在视频序列中计算出每帧的人手轮廓状态；

D、根据计算出的人手轮廓状态进行人手动作的有效性检测，并进行手势识别以对用户完成某个预定义手势的轨迹进行分类，确定用户完成的手势动作；

E、根据确定的手势动作生成相应的手势动作控制指令，并将该手势动作控制指令发送至三维用户界面；

F、三维用户界面根据所述手势动作控制指令做出相应反馈。

所述的人机交互系统的实时手势跟踪处理方法，其中，所述步骤A之前还包括，a、立体影像显示单元显示三维立体影像及三维用户图形界面。

所述的人机交互系统的实时手势跟踪处理方法，其中，所述步骤A具体包括：

A1、视频图像获取单元获取用户所在环境深度图像信息；

A2、通过图像处理单元对视频图像获取单元获取的图像信息进行去噪与目标增强处理。