[发明专利]一种基于手势的人机交互方法及设备

说明书

本申请的目的是提供一种基于手势的人机交互方法及设备，本申请通过获取摄像设备拍摄的一时间段内的至少两帧人体图像；分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；基于所述控制指令控制电子屏幕进行相应的屏幕操作，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

技术领域

本申请涉及计算机视觉处理技术领域，尤其涉及一种基于手势的人机交互方法及设备。

背景技术

现有技术中，电子白板非常普及于课堂和会议室，但是现有电子白板的人机交互模块一般只有电子笔和触摸屏。一些简单的操作如果使用触摸屏，只能接触式操作，则需要近距离接触到触摸屏才能操作，同样使用电子笔则必须要交电子笔传递给操作者，电子笔虽然可以远程操作但必须要手持，这样在课堂或会议时都需要人体挪动才可以完成，造成不便。

发明内容

本申请的一个目的是提供一种基于手势的人机交互方法及设备，实现了只需通过简单的手势就可以完成一些简单且有效的屏幕操作，实现远距离控制屏幕的操作，提高用户体验度和操作性。

根据本申请的一个方面，提供了一种基于手势的人机交互方法，其中，所述方法包括：

获取摄像设备拍摄的一时间段内的至少两帧人体图像；

分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置；

根据每帧所述人体图像对应的手势及其在所述人体图像中的位置，确定手势移动方向；

根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令；

基于所述控制指令控制电子屏幕进行相应的屏幕操作。

进一步地，上述方法中，所述分别对每帧所述人体图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：

分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像；

分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。

进一步地，上述方法中，所述分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像，包括：

基于Haar特征与轮廓特征相结合的算法，分别对每帧所述人体图像进行手部检测，得到每帧所述人体图像对应的手部区域图像。

进一步地，上述方法中，所述方法还包括：

训练并确定用于手势识别的分类器；

其中，所述分别对每帧所述人体图像对应的手部区域图像进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置，包括：

分别将每帧所述人体图像对应的手部区域图像输入至所述分类器进行手势识别，得到每帧所述人体图像对应的手势及其在所述人体图像中的位置。

进一步地，上述方法中，所述方法还包括：

预置至少一种手势及其移动方向与预设控制指令之间的映射关系；

其中，所述根据所述手势移动方向和每帧所述人体图像对应的手势，确定对应的控制指令，包括：

根据所述手势移动方向和每帧所述人体图像对应的手势，在所述映射关系中进行指令匹配，得到对应的控制指令。