[发明专利]一种眼动反应信息检测方法、装置、移动终端及存储介质

权利要求书

1.一种眼动反应信息检测方法，其特征在于，所述方法：

分别获取相邻两帧的人脸正面图像，并分别确定出相邻两帧的所述人脸正面图像中的人脸区域；

标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像；

分别将所述人脸区域中确定出的眼部区域图像输入至预设的神经网络模型中进行参数计算，分别得到相邻两帧的所述眼部区域图像所对应的眼部特征点坐标信息；

根据相邻两帧的所述人眼部区域图像所对应的眼部特征点坐标信息，确定眼动反应信息，所述眼动反应信息用于反映瞳孔在相邻两帧的眼部区域图像中的变化；

所述神经网络模型包括28个卷积层、27个归一化层、27个激活层、5个池化层、5个上采样层以及1个全连接层，每经过一个池化层，特征图的尺寸缩小为原来的一半，得到一个新的尺度，通过5个池化层逐步减少特征图的空间维度，每经过一个上采样层，特征图的尺寸放大为原来的2倍，通过5个上采样层逐步修复特征图的细节和空间维度，将经上采样层处理后的特征图与经池化层处理后得到的对应尺度的特征图进行拼接融合，以实现神经网络对图像特征的多尺度特征识别，过程中，不断使用卷积层提取特征，并通过激活层加入非线性因素，全连接层的神经元分别与上一层的所有神经元相连，整合所提取的特征，将特征图映射成特征向量；

使用训练集对所建立的神经网络模型进行训练，损失函数为计算预测结果x_i和真实坐标y_i之间误差的绝对值大小；若误差大于期望值，则将误差传回网络，从后往前计算每层网络的误差，更新权值，当训练的loss值不再减少即收敛时，使用测试集测试神经网络模型检测眼部特征点坐标信息的准确度，所述损失函数为：

所述眼动反应信息包括：眨眼频率、当前视线方向、眼动反应时间，其中，眨眼频率＝眨眼次数/时间，若检测到一次闭眼后在较短时间内恢复为睁眼状态，记为一次眨；若EAR小于0.2则判断为闭眼，否则为睁眼；

其中，

所述当前视线方向，通过视线看向屏幕正中时的瞳孔中心点和眼部区域图像的特征点的位置对当前瞳孔中心点的坐标进行校正后，判断得到；若横坐标大于0，视线偏左，否则偏右；若纵坐标大于0，视线偏下，否则偏上；

所述眼动反应时间为跟随左右随机出现的小球的测试任务提供的参数，若当前视线方向与小球出现方向一致，记录该时刻为t，则反应时间＝t-小球出现的时刻t0。

2.根据权利要求1所述的眼动反应信息检测方法，其特征在于，所述眼动反应信息包括：眨眼频率、当前视线方向、眼动反应时间，所述眼动反应时间是通过结合测试任务来对被试者进行监测得到的。

3.根据权利要求2所述的眼动反应信息检测方法，其特征在于，所述结合测试任务来对被试者进行监测包括：依据认知心理学方法的简单测试，在主动提供刺激的情况下，对被试者的眼动行为进行分析。

4.根据权利要求1所述的眼动反应信息检测方法，其特征在于，所述分别确定出相邻两帧的所述人脸正面图像中的人脸区域分别确定出相邻两帧的所述人脸正面图像中的人脸区域，包括：

利用OpenCV库的Haar级联人脸分类器对相邻两帧的所述人脸正面图像进行特征筛选，确定出邻两帧的所述人脸正面图像中的人脸区域。

5.根据权利要求1所述的眼动反应信息检测方法，其特征在于，所述标记所述人脸区域中的眼眶位置，并确定出所述人脸区域中的眼部区域图像，包括：

获取所述人脸区域中的眼眶位置，并标记所述眼眶位置上的多个特征点；

获取所述多个特征点所围成的区域，并根据所述多个特征点所围成的区域确定所述人脸区域中的眼部区域图像；

并标记所述眼眶位置上的多个特征点标的方式包括：利用dlib库的68特征点检测器检测人眼眼眶上多个特征点。