[发明专利]一种基于图像的眼动追踪方法和系统

说明书

本发明给出了一种基于图像的眼动追踪方法和系统，包括对待检测图像进行人脸检测，获得人脸检测框；利用人脸关键点定位网络定位出眼睛感兴趣区域并进行瞳孔关键点定位；基于瞳孔中心和眼睛区域中心计算获取水平偏移比率以确定人眼朝向。同时还提出了基于该方法的眼动追踪系统，该方法和系统能够在环境光照条件不理想，背景复杂等情况下有效地定位到人脸和瞳孔中心并准确地进行眼动跟踪。

技术领域

本发明涉及图像识别的技术领域，尤其是一种基于图像的眼动追踪方法和系统。

背景技术

眼动追踪是通过测量眼睛运动情况来估计眼睛凝视点的技术，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。眼球追踪技术的用途十分广泛，可以通过追踪眼球的变化，控制手机、电脑实现自动亮屏，翻页等多种控制功能；在汽车自动驾驶领域，可以通过追踪眼球的位置，模拟驾驶员的视野，提醒驾驶员视线盲区可能存在的危险；在心理学中可以通过追踪眼球的运动特点，作为心理判断的辅助依据；在医疗中可以通过病人眼动追踪的数据来辅助疾病的判断等等。

目前眼动追踪有几种实现方式，包括根据虹膜角度变化进行跟踪，以及主动投射红外线等光束到虹膜来提取特征，但虹膜识别对识别图像采集设备的精度要求较高，而红外射线投射又往往需要辅助以红外光设备等，上述方式都无法达到便捷，高效，成本低的目的。

研究者针对眼动追踪做了很多的尝试，业界普遍使用的方法有以下两类：

1、入侵式眼动跟踪技术，此类方法存在以下问题:为了获取眼睛观察方向的变化情况,入侵式眼动跟踪技术通常需要额外的硬件进行辅助，比如瞳孔-角膜反射向量法所采用的红外辅助光源、眼电图法所使用的电流信号和接触镜法所使用的小镜子。这些额外的硬件都会给用户的眼睛带来不舒适感,甚至造成伤害,另外使用额外的硬件设备还需要额外的成本投入。

2、基于视频图像眼动追踪，在图像获取人眼区域中确定人眼虹膜中心的位置以及人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点。根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪。该方法采用基于人眼虹膜轮廓匹配方式进行拟合来确定人眼虹膜中心，此类方法轮廓形状易受环境光照影响，从而导致人眼虹膜中心定位不准确，不利于眼动跟踪。

发明内容

为了解决现有技术中需要额外的硬件辅助所带来的不适感、易受环境光照影响导致人眼虹膜中心定位不准等技术问题，本发明提出了一种基于图像的眼动追踪方法和系统，用以解决上述技术问题。

根据本发明的一个方面，一种基于图像的眼动追踪方法，包括：

S1：对待检测图像进行人脸检测，获得人脸检测框；

S2：利用人脸关键点定位网络定位出眼睛感兴趣区域并进行瞳孔关键点定位；以及

S3：基于瞳孔中心和眼睛区域中心计算获取水平偏移比率以确定人眼朝向。

在一些具体的实施例中，步骤S1具体为利用无锚点的人脸检测方法对待检测图像进行人脸检测，获得人脸框。

在一些具体的实施例中，无锚点的人脸检测方法包括：将待检测图像输入至人脸检测网络中输出人脸热度图、人脸尺度图和人脸中心偏移量图，人脸热度图中大于预设阈值的点为人脸，并在人脸中心偏移量图上对应位置取出人脸坐标偏移量，与人脸热度图中的坐标相加获得人脸的中心位置，在人脸尺度图上计算人脸的宽高，得到人脸检测框，并利用非极大值抑制剔除重复的人脸检测框。凭借该方法可以解决光线不理想的环境下人脸易漏检的问题。

在一些具体的实施例中，步骤S2之前还包括对人脸检测框进行外扩，对人脸检测框的横坐标方向按人脸检测框的宽度的四分之一进行外扩，对人脸检测框的纵坐标方向按人脸检测框的高度的四分之一进行外扩。