[发明专利]一种基于眼球运动的视觉注意检测方法及系统

权利要求书

1.一种基于眼球运动的视觉注意检测方法，其特征在于，所述方法包括：

通过第一显示设备展示视觉注意测试内容；其中，所述视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读所述多个E字标顺序的信息；所述视觉注意测试内容还包括：第一部分E字标和第二部分E字标，所述第一部分E字标为按照预设规则排列并提示测试者按照竖直方向阅读的多个E字标；所述第二部分E字标为按照预设规则排列并提示测试者按照水平方向阅读的多个E字标；

获取测试者在阅读所述多个E字标时的若干面部图像，具体包括：

根据，确定面部图像的梯度图；

根据，判断面部图像是否为模糊图像；

其中，g_x(i,j)和g_y(i,j)分别是面部图像f在x和y方向的梯度图；m、n分别是面部图像f在x和y方向的行列数；G_num是x方向梯度图和y方向梯度图的非零梯度值的个数总和；

当S7时，判断该面部图像为模糊图像；其中，数值7可通过实验确定；

根据、

、

；

确定出模糊图像中的前景模糊图像；

其中，q(x,y)为前景模糊图像，c为第三预设值，d为第四预设值，N_h是模糊图像中位置为(x, y) 的像素的邻域内的像素的总数，h(x, y)是模糊图像中位置为(x, y)的像素的邻域内的像素点的集合，I(s,t)是模糊图像中位置为(x, y)的像素的灰度值，m(x,y)是I(x,y)的均值；

采用高斯滤波对确定出的前景模糊图像进行处理，得到前景清晰图像，再将该前景清晰图像作为经过图像去模糊处理后的面部图像；

根据所述若干面部图像识别出各面部图像对应的眼部图像，根据眼部图像确定眼部图像对应的瞳孔位置数据；其中，所述瞳孔位置数据为眼部图像中的瞳孔中心位置与角膜反光点位置之间的相对偏移量；

基于所述瞳孔位置数据，确定所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息，具体为：

计算眼部特征向量 P，所述眼部特征向量P为:

P=[θ₁,θ₂,L₁,L₂,D_x,D_y]；

其中:θ₁为瞳孔位置变化的方向角;θ₂为眼部图像中两个内眼角连线与图像水平方向夹角；L₁为瞳孔在长轴方向的变化数据，L₂为瞳孔在短轴方向的变化数据；(C_x，C_y)为眼部图像中两个内眼角连线中点位置；

以所述眼部特征向量P作为输入，通过预先训练好的神经网络模型，得到误差补偿值(x_c,y_c)；

根据所述误差补偿值(x_c,y_c)与预先计算好的注视点位置信息，更新所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息；

根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级，具体包括：

基于来自键盘设备的第一数据或者来自语音采集设备的第二数据，确定所述测试者在视觉注意检测过程中所确定的相应E字标的开口朝向；

其中，所述第一数据为所述键盘设备根据测试者按照所述阅读多个E字标的顺序，按压与所述E字标开口朝向相对应的按键而得到的数据；所述第二数据为语音采集设备采集的测试者按照所述阅读多个E字标的顺序，朗读所述多个E字标开口朝向的语音数据；

根据所述测试者在视觉注意检测过程中所确定的相应E字标的开口朝向、所述视觉注意测试内容中的多个E字标及提示测试者阅读多个E字标顺序的信息，以及所述测试者在第一显示设备上的注视点位置信息，确定测试者在阅读多个E字标时的漏字参数和/或误判参数；其中，所述漏字参数与漏字次数和漏字个数有关，误判参数与误判个数相关；

基于所述漏字参数和/或误判参数，确定所述测试者的视觉注意等级；

基于所述漏字参数和/或误判参数，确定所述测试者的视觉注意等级，具体包括：

将所述按照预设规则排列的多个E字标在第一显示设备上的显示内容，按照预设规则划分成多个区域；

根据所述测试者的瞳孔位置数据，确定所述测试者对所述多个区域中各个区域的注视参数值；其中，所述注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间；

根据所述各个区域的注视参数值，确定所述测试者对应的感兴趣区域；

接收来自键盘设备或者语音采集设备的有关测试者对所述感兴趣区域对应的题目的答复内容，得到所述题目的正确率；

其中，所述感兴趣区域对应的题目包括以下任意一项或多项：至少一个预设位置的E字标的颜色、一个预设位置的E字标的字体、多个预设E字标排列组合成的形状、感兴趣区域中除E字标之外的其它内容、一个预设位置的E字标的开口朝向；

根据所述漏字参数、误判参数、题目的正确率以及所述测试者阅读所述视觉注意测试材料所用时间，确定测试者的视觉注意等级；

所述根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级，还包括：

根据与第一部分E字标对应的所述第一数据或第二数据，确定垂直阅读时间和水平阅读时间，所述垂直阅读时间是所述测试者阅读所述第一部分E字标所用的时间；

以及根据与所述第二部分E字标对应的所述第一数据或第二数据，确定水平阅读时间，所述水平阅读时间是所述测试者阅读第二部分E字标所用的时间；

确定测试者阅读所述第二部分E字标时的漏字个数和增字个数，并按照以下公式确定所述测试者的水平调整时间：

水平调整时间=（水平时间×E字标的总个数）/（E字标的总个数-漏字个数+增字个数）；

计算水平调整时间和垂直阅读时间的比值；

在所述比值超出预设取值范围时，根据所述比值以及所述阅读多个E字标的漏字参数、误判参数、以及所述测试者阅读视觉注意测试内容所用时间中的一个或多个，确定所述测试者的视觉注意等级；

其中，所述根据所述若干面部图像识别出各面部图像对应的眼部图像，具体包括：

通过粗定位方式，根据面部识别模型确定测试者粗定位眼部图像；对所述粗定位眼部图像进行灰度处理；根据灰度处理后的粗定位眼部图像的大小构建横向算子，且所述横向算子为奇数；将所述横向算子与所述灰度处理后的粗定位眼部图像卷积，得到所述粗定位眼部图像的横向灰度变化曲线；将所述粗定位眼部图像的横向灰度变化曲线的最大值，作为眼睛区域横向上的中心位置；根据所述眼睛区域横向中心位置的预设比例的纵向两个位置处，确定眼镜区域的上边界和下边界；根据所述眼睛区域的上边界和下边界，对所述粗定位眼部图像进行截取，得到所述眼睛区域的横向位置图像；对所述横向位置图像中的每个像素，计算在所述上边界和下边界的纵向灰度积分函数，得到纵向灰度积分函数图像，将所述纵向灰度积分函数图像最外侧的两个波峰对应的位置，作为眼睛区域在纵向上的左边界和右边界；根据所述眼睛区域的左边界和右边界，对所述横向位置图像进行截取，得到所述面部图像对应的眼部图像；

其中，所述根据眼部图像确定眼部图像对应的瞳孔位置数据，具体包括：

根据预设阈值对所述眼部图像进行分割，并根据分割后的分割区域以及各分割区域间的相互包裹特征，获取所述眼部图像对应的眼球区域；在所述眼球区域内部选择灰度值最低的点作为种子点，通过预设的生长阈值和边界条件以及区域生长算法，得到瞳孔区域；根据所述瞳孔区域确定瞳孔中心位置；基于所述瞳孔中心位置，确定眼部图像对应的瞳孔位置数据。