[发明专利]一种目光捕捉方法和采用目光捕捉的人机交互方法

说明书

技术领域

本发明属于人机交互技术领域，尤其涉及一种目光捕捉方法和采用目光捕捉的人机交互方法。

背景技术

现代计算机系统实现人机交互的方式主要借助麦克风、键盘、跟踪球、鼠标、触摸板、触笔、摇杆、手柄、数字手写板、手写屏、多点触摸屏、微软Kinect体感器等交互设备，上述这些方式通常需要人进行较为麻烦的操作，有的还需要人提前进行训练才能熟练掌握。

为了克服上述问题，现有技术中提出了一种眼动跟踪技术，该技术分为接触式和非接触式两类，其中接触式方式需要头戴微型摄像头设备，用来获取两眼瞳孔(或角膜)的中视点，非接触式是在PC机前安装两个微型摄像头，适合残疾人操作计算机使用。这些技术已经开始服务于医学、军事和教育等各个方面，尤其是可以利用到网络应用中。

但是基于目前的眼动跟踪技术在价格、精度和方便性等因素之间做出权衡是一件困难的事情。例如，视线跟踪的精度与对用户的限制和干扰是一对尖锐的矛盾。另外，视线跟踪设备的成本(人民币一万元～三十万元不等)也令普通的用户无法承受。

发明内容

有鉴于此，本发明的目的在于提供一种目光捕捉方法和采用目光捕捉的人机交互方法，能够显著降低实现的成本(人民币60元～800元不等)。

为实现上述目的，本发明提供一种目光捕捉方法，包括：

A.从图像捕捉设备捕捉的画面中识别出最大的一张人脸的左眼瞳仁在左眼眼眶内的横向偏移程度、右眼瞳仁在右眼眼眶内的横向偏移程度，并通过几何计算，得出双眼瞳仁在眼眶内横向偏移程度的平均值；

B.识别鼻子的横向转动程度；

C.将双眼瞳仁在眼眶内横向偏移程度的平均值按比例排除鼻子的横向转动程度，得到人眼的注视点位置。

优选地，所述识别左眼瞳仁在左眼眼眶内的横向偏移程度、右眼瞳仁在右眼眼眶内的横向偏移程度具体实现为：

通过人脸识别算法从图像捕捉设备捕捉的画面中识别出最大的一张人脸所在的矩形子区域；

通过人眼识别算法从所述人脸所在的矩形子区域中识别出双眼所在的矩形子区域；

在所述双眼所在的矩形子区域中识别出左眼眼眶所在的矩形子区域和右眼眼眶所在的矩形子区域；

在所述左眼眼眶所在的子区域中识别出左眼瞳仁的矩形子区域、以及右眼瞳仁的矩形子区域；

通过左眼瞳仁的矩形子区域的位置和左眼眼眶的矩形子区域的位置，计算左眼瞳仁在左眼眼眶内的横向偏移程度，通过右眼瞳仁的矩形子区域的位置和右眼眼眶的矩形子区域的位置，计算右眼瞳仁在右眼眼眶内的横向偏移程度。

优选地，还包括：在通过几何计算，得出双眼瞳仁在眼眶内横向偏移程度的平均值之后，将双眼瞳仁在眼眶内横向偏移程度的平均值规整到±20的区间内。

优选地，所述识别鼻子的横向转动程度具体实现为：

在人脸所在的矩形子区域内，针对左眼眼眶的矩形子区域外侧的第一区域、和右眼眼眶的矩形子区域外侧的第二区域分别进行自适应肉色检测，计算第一区域检测通过的像素数量占整个人脸的矩形子区域的像素数量的比例，计算第二区域检测通过的像素数量占整个人脸的矩形子区域的像素数量的比例，根据两个比例的差确定鼻子的横向转动程度。

优选地，所述根据两个比例的差确定鼻子的横向转动程度具体实现为：

将所述两个比例的差规整到±20的区间内，从而得到鼻子的横向转动程度。

优选地，在预定周期内循环N次执行步骤A至步骤C，对获取的人眼注视点位置取平均，得到该预定周期内的人眼注视点位置。

优选地，该方法还包括：

如果预定时间内连续两次人脸的矩形子区域的位置超过一定幅度的左右或者上下摇摆，则分别判断产生摇头和点头动作。

优选地，还包括：在判定产生摇头或者摆头动作后，记录动作产生的时间。

另一方面，本发明还提供一种采用目光捕捉的人机交互方法，包括：

采用如上述的目光捕捉的方法得到的人眼的注视点位置；

将所述人眼的注视点位置发送至上层应用程序。

另一方面，本发明还提供一种采用目光捕捉的人机交互方法，包括：

采用如上述的目光捕捉的方法判断产生摇头或点头动作；

将产生摇头或点头的动作信息发送至上层应用程序。