[发明专利]基于手势的人机交互方法及系统

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种基于手势的人机交互方法及系统。

背景技术

现有的计算机等处理设备的人机交互方式一般为鼠标、键盘、显示器。但是随着技术的发展，人们希望能够有更为方便、快捷的人机交互方式。因此，语音、手写笔等人机交互方式应运而生。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

语音输入的方式在文字输入时可以降低输入难度，但是在图形化界面中的应用则受到了很多限制。同样的，手写笔的方式在输入汉字时虽然有一定有事，但是在图形化界面中的使用方便程度还不如鼠标。

发明内容

为了解决现有技术中计算机等处理设备的语音、手写笔等人机交互方方式无法适用于图形化界面的问题，本发明实施例提出了一种基于手势的人机交互方法及系统，所述技术方案如下：

本发明实施例提出了一种基于手势的人机交互方法，包括：

获取用户的视频流中的图片；

获取前景中三个或三个以上预设的色块的坐标；

根据第一色块的坐标模拟鼠标的移动，并根据其他色块的坐标模拟鼠标的点击操作。

作为上述技术方案的优选，所述获取用户的视频流，并获取视频流中的图片包括：

通过摄像头获取用户的视频流，并提取视频流中的连续图片；或间隔一预设值提取视频流中的断续图片。

作为上述技术方案的优选，所述获取用户的视频流，并获取视频流中的图片包括：

通过摄像头获取用户的视频流，并提取视频流中的连续图片；或间隔一预设值提取视频流中的断续图片。

作为上述技术方案的优选，所述方法还包括：

建立背景模型，以生成掩码图像，并通过掩码图像去除所述图片的背景；

获取预设置的第一色块、第二色块、第三色块模板，并所述图片生成所述每一色块的直方图；

根据所述每一色块的直方图计算每一色块的概率分布图；

获取所述概率分布图中所述每一色块的质心，以获取所述三个色块的坐标。

作为上述技术方案的优选，所述根据其他色块的坐标模拟鼠标的点击操作包括：

获取所述第二色块与第三色块坐标之间的直线距离；判断所述直线距离是否小于预设阈值，如果是则模拟所述鼠标左键被按下；如果否则模拟所述鼠标左键被松开。

作为上述技术方案的优选，所述获取预设置的三个色块模板包括：

在手指上套接三个不同颜色的指套，并将所述指套的颜色作为色块模板进行存储。

本发明实施例还提出了一种基于手势的人机交互系统，包括：

获取模块，用于获取用户的视频流中的图片；

定位模块，用于获取前景中三个或三个以上预设的色块的坐标；

转换模块，用于根据第一色块的坐标模拟鼠标的移动，并根据其他色块的坐标模拟鼠标的点击操作。

作为上述技术方案的优选，所述获取模块通过摄像头获取用户的视频流，并提取视频流中的连续图片；或间隔一预设值提取视频流中的断续图片。

作为上述技术方案的优选，所述定位模块包括：

背景分割单元，用于建立背景模型，以生成掩码图像，并通过掩码图像去除所述图片的背景；

直方图单元，用于获取预设置的第一色块、第二色块、第三色块模板，并所述图片生成所述每一色块的直方图；

概率分布图单元，用于根据所述每一色块的直方图计算每一色块的概率分布图；

色块定位单元，用于获取所述概率分布图中所述每一色块的质心，以获取所述三个色块的坐标。

作为上述技术方案的优选，所述转换模块包括：

获取所述第二色块与第三色块坐标之间的直线距离；判断所述直线距离是否小于预设阈值，如果是则模拟所述鼠标左键被按下；如果否则模拟所述鼠标左键被松开。

作为上述技术方案的优选，还包括：

设置于手指上的三个不同颜色的指套，并将所述指套的颜色作为色块模板进行存储。

本发明实施例提供的技术方案的有益效果是：本发明实施例中可以通过对获取的用户视频流进行处理以获取多个预设的色块的坐标，并根据多个色块的坐标模拟鼠标操作。这样现有的计算机等处理设备可以通过非常简单的方式即可扩展为可以基于手势进行人机交互，无需触摸屏即可实现模拟触摸控制的效果。

附图说明