[发明专利]基于课堂场景及学习者视线分析学习者注意力的方法

摘要

本发明公开一种基于课堂场景及学习者视线分析学习者注意力的方法，首先采用图像增强技术对于课堂实时采集图像进行预处理，此后采用背景建模法对授课场景进行分析，提取出课堂场景中可能的感兴趣区域，同时对学生采集图像的颜色特征进行分析，确定学习者面部位置，通过Gabor滤波器获取眼部位置并对其眼动情况分析判定其视线，通过课堂场景中的感兴趣区域位置结合学习者视线判定学习者注意力是否集中。实时性高，可根据学生的眼动情况对课堂中内容进行有效的变换，实时生成对应学习策略。

主权项

一种基于课堂场景及学习者视线分析学习者注意力的方法，其特征在于按如下步骤进行：a. 启动系统；b. 设置拍摄教学区域的摄像机A，初始化摄像机A；设摄像机A获取的视频帧图像为Image1，Image1的长为l1个像素，宽为w1个像素，摄像机A所照射区域的长为L1米，宽为W1米；c. 设置拍摄学生所在区域的摄像机B，初始化摄像机B；设摄像机2获取的视频帧图像为Image2，Image2的长为l2个像素，宽为w2个像素，摄像头机B所照射区域的长为L2米，宽为W2米；d. 设i为摄像机A拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image1图像，记为Image1i，i=1，6，11，16……n，对Image1i进行双背景建模提取前景图像；保留提取的前景图像内容，其余背景内容置零，保存前景图像结果图，记为Fimage_i;计算Fimage_i所有非零内容的坐标的均值，记为（xfcenteri,yfcenteri）；计算摄像机A照射区域的面积与图像Image1大小的比值，记为ratio1，；e. 设j为摄像机B拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image2图像，记为Image2j，j=1，6，11，16……n，对Image2j依次按照如下步骤处理：e.1 将Image2j由RGB颜色空间转为YcbCr颜色空间，转换公式为：Y= 0.299*R + 0.587*G + 0.114*B，Cb=‑0.1687*R‑0.3313*G+0.5000*B+128，设Cb色调在130~170之间的内容作为常见的人脸色调，对整幅图像搜索，如果像素点Cb值小于170且大于130则置保存，否则置0，将上述结果反变换回RGB颜色空间并保存，设为Image2j‑face；e.2 生成两个规模为11*11的二维数组Arrayx和Arrayy，数组Arrayx中每一行的值都为[‑5,‑4,‑3,‑2,‑1,0,1,2,3,4,5]，数组Arrayy中每一列的值都为[‑5,‑4,‑3,‑2,‑1,0,1,2,3,4,5]，对Arrayx，Arrayy分别乘以方向参数theta以生成方向模板Directx和Directy， Directx= Arrayx*cos(theta) + Arrayy*sin(theta)，Directy= Arrayx*cos(theta) + Arrayy*sin(theta)，所述方向参数theta为要生成Gabor滤波器的角度，生成水平Gabor滤波器Gaborx时theta为0，生成竖直Gabor滤波器Gabory时theta为, 按照如下公式：，sigma设置为3，分别生成水平Gabor滤波器Gaborx 和竖直Gabor滤波器Gabory；e.3采用水平和竖直方向的Gabor滤波器Gaborx和Gabory分别对Image2j‑face进行卷积操作，得到的结果为第j帧图像中眼部图像区域，记为Image2j‑eye；e.4 对Image2j‑ eye进行逐行扫描，计算两只眼睛的外包围盒：设图像中左眼外包围盒的左上角为（x1left j，y1left j），右下角为（x1right j，y1right j），设图像中右眼外包围盒的左上角为（x2left j，y2left j），右下角为（x2right j，y2right j），计算两个眼睛的中心坐标并保存，左眼的中心坐标为（x1center j，y1center j），，；右眼的中心坐标为，，；e.5计算摄像机B照射区域的面积与图像Image2大小的比值，设为ratio2，;f. 从i=1，j=1起，获取（xfcentri+5,yfcenteri+5）并保存为（xfcentri,yfcenteri），获取人眼的中心坐标（x1centerj+5，y1centerj+5）和（x2centerj+5，y2centerj+5），保存为（x1centerj，y1centerj）和（x2centerj，y2centerj），计算（xfcentri+5,yfcenteri+5）与（xfcentri,yfcenteri）的欧式距离Dmov；g．如果Dmov大于20，进入下一步骤，否则置i+5，j+5回到步骤f，若i=n，j=n，则结束；h. 计算学生眼睛应移动的距离为，所述；计算实际学生眼睛坐标（x1centerj+5，y1centerj+5）和与（x1centerj，y1centerj）的欧式距离，计算学生眼睛（x2center j+5，y2center j+5）和与（x2centerj，y2centerj）的欧式距离，如果或者，则系统发出警报并置i+5，j+5回到步骤f，否则不报警，置i+5，j+5回到步骤f，若i=n，j=n，则结束。