[发明专利]一种人机交互系统及其实时手势跟踪处理方法

权利要求书

1.一种人机交互系统的实时手势跟踪处理方法，其特征在于，包括步骤：

A、获取用户侧的图像信息并进行相应的图像降噪和增强处理；

B、对经过处理的图像信息通过手势检测单元进行人手检测，完成手势与背景的分离，并通过视觉算法在图像信息中自动确定包围人手的一个较小矩形框为感兴趣区域；

C、通过手势跟踪单元，在所述图像信息中的感兴趣区域完成手势特征点的亚像素级跟踪，在视频序列中计算出每帧的人手轮廓状态；

D、根据计算出的人手轮廓状态进行人手动作的有效性检测，并进行手势识别以对用户完成某个预定义手势的轨迹进行分类，确定用户完成的手势动作；

E、根据确定的手势动作生成相应的手势动作控制指令，并将该手势动作控制指令发送至三维用户界面；

F、三维用户界面根据所述手势动作控制指令做出相应反馈。

2.根据权利要求1所述的人机交互系统的实时手势跟踪处理方法，其特征在于，所述步骤A之前还包括，a、立体影像显示单元显示三维立体影像及三维用户图形界面。

3.根据权利要求1所述的人机交互系统的实时手势跟踪处理方法，其特征在于，所述步骤A具体包括：

A1、视频图像获取单元获取用户所在环境深度图像信息；

A2、通过图像处理单元对视频图像获取单元获取的图像信息进行去噪与目标增强处理。

4.根据权利要求1所述的人机交互系统的实时手势跟踪处理方法，其特征在于，所述步骤C中的人手轮廓状态：包括位置、旋转角、放缩量以及各个手指的长度和角度。

5.根据权利要求1所述的人机交互系统的实时手势跟踪处理方法，其特征在于，所述步骤D还包括: 手势动作是否开始的判断依据是在连续20帧的人手检测结果里，有超过12帧检测到人手处于同一个位置。

6.根据权利要求1所述的人机交互系统的实时手势跟踪处理方法，其特征在于，所述步骤D中的手势动作包括：左移、右移、上移、下移。

7.根据权利要求1所述的人机交互系统的实时手势跟踪处理方法，其特征在于，所述步骤E中的根据确定的手势动作生成相应的手势动作控制指令包括：

E1、通过手势位置的不动，来识别出该动作为点击命令，生成相应的点击控制指令；

E2、通过手势位置的快速左移、右移、上移、下移来识别出左、右、上、下四个命令，生成相应的左移、右移、上移、下移控制指令；

E3、通过手势位置的挥手来识别出关闭动作，生成相应的关闭控制指令。

8.一种人机交互系统，其特征在于，包括：

视频图像获取单元，用于获取用户所在环境深度图像信息；

图像处理单元，用于对视频图像获取单元获取的图像信息进行去噪与目标增强处理；

手势检测单元，用于对经过处理的图像信息进行人手检测，完成手势与背景的分离，并通过视觉算法在图像信息中自动确定包围人手的一个较小矩形框为感兴趣区域；

手势跟踪单元，用于在所述图像信息中的感兴趣区域完成手势特征点的亚像素级跟踪，在视频序列中计算出每帧的人手轮廓状态；

手势效性检测与手势动作确认单元，根据计算出的人手轮廓状态进行人手动作的有效性检测，并进行手势识别以对用户完成某个预定义手势的轨迹进行分类，确定用户完成的手势动作；

手势指令控制命令生成单元，根据确定的手势动作生成相应的手势动作控制指令，并将该手势动作控制指令发送至三维用户界面；

立体影像显示单元，用于显示三维立体影像及三维用户图形界面，以及用于根据所述手势动作控制指令做出相应反馈。

9.根据权利要求8所述的人机交互系统，其特征在于，所述视频图像获取单元为摄像头。

10.根据权利要求8所述的人机交互系统，其特征在于，所述人手轮廓状态：包括位置、旋转角、放缩量以及各个手指的长度和角度；

手势指令控制命令生成单元进一步包括：

第一生成模块，用于通过手势位置的不动，来识别出该动作为点击命令，生成相应的点击控制指令；

第二生成模块，用于通过手势位置的快速左移、右移、上移、下移来识别出左、右、上、下四个命令，生成相应的左移、右移、上移、下移控制指令；

第三生成模块，用于通过手势位置的挥手来识别出关闭动作，生成相应的关闭控制指令。