[发明专利]一种基于图像的眼动追踪方法和系统

权利要求书

1.一种基于图像的眼动追踪方法，其特征在于，包括：

S1：对待检测图像进行人脸检测，获得人脸检测框；

S2：利用人脸关键点定位网络定位出眼睛感兴趣区域并进行瞳孔关键点定位；以及

S3：基于瞳孔中心和眼睛区域中心计算获取水平偏移比率以确定人眼朝向。

2.根据权利要求1所述的基于图像的眼动追踪方法，其特征在于，所述步骤S1具体为利用无锚点的人脸检测方法对待检测图像进行人脸检测，获得人脸框。

3.根据权利要求2所述的基于图像的眼动追踪方法，其特征在于，所述无锚点的人脸检测方法包括：将所述待检测图像输入至人脸检测网络中输出人脸热度图、人脸尺度图和人脸中心偏移量图，所述人脸热度图中大于预设阈值的点为人脸，并在所述人脸中心偏移量图上对应位置取出人脸坐标偏移量，与所述人脸热度图中的坐标相加获得人脸的中心位置，在所述人脸尺度图上计算人脸的宽高，得到人脸检测框，并利用非极大值抑制剔除重复的人脸检测框。

4.根据权利要求3所述的基于图像的眼动追踪方法，其特征在于，所述步骤S2之前还包括对所述人脸检测框进行外扩，对所述人脸检测框的横坐标方向按所述人脸检测框的宽度的四分之一进行外扩，对所述人脸检测框的纵坐标方向按所述人脸检测框的高度的四分之一进行外扩。

5.根据权利要求1所述的基于图像的眼动追踪方法，其特征在于，所述人脸关键点定位网络包括MobileNetV2的主干网络、卷积层、多尺度层和全连接层，其中，所述多尺度卷积层由前一个卷积层的输出经过两次下采样，并将相应的输出联结在一起，所述全连接层输出为896个神经元。

6.根据权利要求1所述的基于图像的眼动追踪方法，其特征在于，所述步骤S2包括：

S21.将人脸训练图像进行预处理，所述预处理包括数据扩增和数据归一化处理，所述数据扩增包括随机补边、随机颜色抖动；

S22.将人脸训练图像输入人脸关键点网络，计算网络的输出与人工标注的损失其中，L_off为人脸关键点坐标损失值，o_k为人工标注的坐标真实值，为网络预测的坐标值，N为样本总量，x为人脸关键点的坐标值；

S23.训练优化器Adam，其中，超参数β₁和β₂分别为0.9和0.99；

S24.学习率设置为5e^-4；

S25.重复迭代80次时降低学习率至5e^-5，重复迭代80次，当最终损失值小于等于预设的损失阈值，调整定位模型的权重、梯度直至最终损失值大于预设的损失阈值，输出人脸关键点定位模型；

S26.利用所述人脸关键点定位模型输出468个人脸关键点坐标。

7.根据权利要求6所述的基于图像的眼动追踪方法，其特征在于，瞳孔关键点定位具体包括：根据所述468个人脸关键点坐标，对眼睛区域进行外扩获得眼睛感兴趣区域，并输入瞳孔关键点定位模型输出通孔关键点坐标。

8.根据权利要求1所述的基于图像的眼动追踪方法，其特征在于，所述步骤S3的水平方向偏移比率的计算公式当HorizontalRatio≤0.35时表示眼睛向右看；当HorizontalRatio≥0.65时表示眼睛向左看；当0.35＜HorizontalRatio＜0.65时表示眼睛向中间看，其中，leftiris_center_x表示左眼瞳孔中心点坐标，rightiris_center_x表示右眼瞳孔中心点坐标，lefteye_center_x表示左眼区域中心点坐标，righteye_center_x示右眼区域中心点坐标。

9.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。

10.一种基于图像的眼动追踪系统，其特征在于，所述系统包括：

人脸检测框获取单元：配置用于对待检测图像进行人脸检测，获得人脸检测框；

参数获取单元：配置用于利用人脸关键点定位网络定位出眼睛感兴趣区域并进行瞳孔关键点定位；

人眼朝向计算单元：配置用于基于瞳孔中心和眼睛区域中心计算获取水平偏移比率以确定人眼朝向。