[发明专利]基于课堂场景及学习者视线分析学习者注意力的方法

权利要求书

1.一种基于课堂场景及学习者视线分析学习者注意力的方法，其特征在于按如下步骤进行：

a. 启动系统；

b. 设置拍摄教学区域的摄像机A，初始化摄像机A；

设摄像机A获取的视频帧图像为Image1，Image1的长为l1个像素，宽为w1个像素，摄像机A所照射区域的长为L1米，宽为W1米；

c. 设置拍摄学生所在区域的摄像机B，初始化摄像机B；

设摄像机B获取的视频帧图像为Image2，Image2的长为l2个像素，宽为w2个像素，摄像头机B所照射区域的长为L2米，宽为W2米；

d. 设i为摄像机A拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image1图像，记为Image1_i，i=1，6，11，16……n，对Image1_i进行双背景建模提取前景图像；

保留提取的前景图像内容，其余背景内容置零，保存前景图像结果图，记为Fimage_i;

计算Fimage_i所有非零内容的坐标的均值，记为（x_fcenteri,y_fcenteri）；

计算摄像机A照射区域的面积与图像Image1大小的比值，记为ratio1，；

e. 设j为摄像机B拍摄的帧图像序列，从第1帧开始，每隔5帧读取一

幅Image2图像，记为Image2_j，j=1，6，11，16……n，对Image2_j依次按照如

下步骤处理：

e.1 将Image2_j由RGB颜色空间转为YcbCr颜色空间，转换公式为：

Y= 0.299*R + 0.587*G + 0.114*B，Cb=-0.1687*R-0.3313*G+0.5000*B+128，设

Cb色调在130~170之间的内容作为常见的人脸色调，对整幅图像搜索，如果像素

点Cb值小于170且大于130则置保存，否则置0，将上述结果反变换回RGB颜色

空间并保存，设为Image2_j-face；

e.2 生成两个规模为11*11的二维数组Array_x和Array_y，数组Array_x中每一行

的值都为[-5,-4,-3,-2,-1,0,1,2,3,4,5]，数组Array_y中每一列的值都为

[-5,-4,-3,-2,-1,0,1,2,3,4,5]，对Array_x，Array_y分别乘以方向参数theta以生成方向模

板Direct_x和Direct_y， Direct_x= Array_x*cos(theta) + Array_y*sin(theta)，

Direct_y= Array_x*cos(theta) + Array_y*sin(theta)，

所述方向参数theta为要生成Gabor滤波器的角度，生成水平Gabor滤波器Gabor_x时theta为0，生成竖直Gabor滤波器Gabor_y时theta为, 按照如下公式：

，sigma设置为3，分别生成水平Gabor滤波器Gabor_x 和竖直Gabor滤波器Gabor_y；

e.3采用水平和竖直方向的Gabor滤波器Gabor_x和Gabor_y分别对Image2_j-face

进行卷积操作，得到的结果为第j帧图像中眼部图像区域，记为Image2_j-eye；

e.4 对Image2_{j- eye}进行逐行扫描，计算两只眼睛的外包围盒：设图像中左

眼外包围盒的左上角为（x1_{left j}，y1_{left j}），右下角为（x1_{right j}，y1_{right j}），设图像

中右眼外包围盒的左上角为（x2_{left j}，y2_{left j}），右下角为（x2_{right j}，y2_{right j}），计

算两个眼睛的中心坐标并保存，左眼的中心坐标为（x1_{center j}，y1_{center j}），

x1_{center j} =（x1_{left j} + y1_{right j}）/2，y1_{center j} =（y1_{left j} + y1_{right j}）/2；右眼的中心坐标为（x2_centerj，y2_{center j}），x2_centerj =（x2_{left j} + y2_{right j}）/2，y2_centerj =（y2_{left j} + y2_{right j}）/2；

e.5计算摄像机B照射区域的面积与图像Image2大小的比值，设为ratio2，

;

f. 从i=1，j=1起，获取（x_fcentri+5,y_fcenteri+5）并保存为（x_fcentri,y_fcenteri），获取

人眼的中心坐标（x1_centerj+5，y1_centerj+5）和（x2_centerj+5，y2_centerj+5），保存为（x1_centerj，

y1_centerj）和（x2_centerj，y2_centerj），计算（x_fcentri+5,y_fcenteri+5）与（x_fcentri,y_fcenteri）的欧

式距离D_mov；

g．如果D_mov大于20，进入下一步骤，否则置i+5，j+5回到步骤f，若i=n，j=n，则结束；

h. 计算学生眼睛应移动的距离为，所述；计算实际学生眼睛坐标（x1_centerj+5，y1_centerj+5）和与（x1_centerj，y1_centerj）的欧式距离，计算学生眼睛（x2_{center j+5}，y2_{center j+5}）和与（x2_centerj，y2_centerj）的欧式距离，如果或者，则系统发出警报并置i+5，j+5回到步骤f，否则不报警，置i+5，j+5回到步骤f，若i=n，j=n，则结束。