[发明专利]一种人机交互系统及其实时手势跟踪处理方法

摘要

本发明公开了一种人机交互系统及其实时手势跟踪处理方法，所述方法包括获取用户侧的图像信息，通过手势检测单元进行人手检测，完成手势与背景的分离，并通过视觉算法在图像信息中自动确定包围人手的一个较小矩形框为感兴趣区域；通过手势跟踪单元在视频序列中计算出每帧的人手轮廓状态；根据计算出的人手轮廓状态进行人手动作的有效性检测，确定用户完成的手势动作；根据确定的手势动作生成相应的手势动作控制指令，三维用户界面根据所述手势动作控制指令做出相应反馈。本发明通过感应用户的全部或部分手势动作，完成手势的准确跟踪，从而为有效的基于普通视觉传感器的手势人机界面接口提供了实时鲁棒的解决方案。

主权项

一种人机交互系统的实时手势跟踪处理方法，其特征在于，包括步骤：A、获取用户侧的图像信息并进行相应的图像降噪和增强处理；B、对经过处理的图像信息通过手势检测单元进行人手检测，完成手势与背景的分离，并通过视觉算法在图像信息中自动确定包围人手的一个较小矩形框为感兴趣区域；C、通过手势跟踪单元，在所述图像信息中的感兴趣区域完成手势特征点的亚像素级跟踪，在视频序列中计算出每帧的人手轮廓状态；D、根据计算出的人手轮廓状态进行人手动作的有效性检测，并进行手势识别以对用户完成某个预定义手势的轨迹进行分类，确定用户完成的手势动作；E、根据确定的手势动作生成相应的手势动作控制指令，并将该手势动作控制指令发送至三维用户界面；F、三维用户界面根据所述手势动作控制指令做出相应反馈。