[发明专利]一种智能网课系统

权利要求书

1.一种智能网课系统，其特征在于，基于笔记本自带摄像头或电脑连接的摄像头所摄的视频图像作为输入，其中摄像头摆放在能够拍摄到人脸图像的位置，通常摆放在屏幕正前方，若不是正前方，可以在识别结果处理模块中更改人脸朝向的基准偏移角度值来补偿摄像头摆放位置；本系统包括：图像预处理模块，目标检测模块，人脸识别模块，头部方向检测模块，学生动作识别模块，识别结果处理模块；这6个功能模块各自的实现方法如下：

图像预处理模块，对摄像头采集到的图像进行去噪和光照补偿，然后进行图像增强，最后将处理后的图像数据传递给目标检测模块；

目标检测模块，对接收到图像预处理模块传递来的图像数据进行目标检测，分别检测当前区域是否有个体，若有个体则提取其面部区域并传递给人脸识别模块和头部方向检测模块、提取上肢区域和手部区域图像传递给学生动作识别模块；

人脸识别模块，对接收到目标检测模块传递来的人脸区域图像数据进行人脸识别，并将识别结果分别传递给头部方向检测模块和识别结果处理模块；

头部方向检测模块，根据目标检测模块传递来的人脸区域图像数据，并结合人脸识别模块传递来的识别结果进行人脸朝向识别，并将结果传递给识别结果处理模块；

学生动作识别模块，根据目标检测模块传递来的上肢区域和手部区域图像数据，进行动作识别，判断当前学生手部动作和上肢动作，并将识别结果传递给识别结果处理模块；

识别结果处理模块对接收到的识别结果进行整合，根据人脸识别模块的识别结果判断摄像头前的个体是否为当前登录账户对应的个体，根据头部方向检测模块所识别的个体面部朝向来判断当前个体注意力朝向，根据学生动作识别模块来判断当前学生与教师的交互动作。

2.根据权利要求1所述的一种智能网课系统，其特征在于所述的图像预处理模块的具体实现方法为：

在初始化阶段该模块不工作；在检测过程中：第一步，对监控摄像头所摄的监控图像进行均值去噪，从而得到去噪后的监控图像；第二步，对去噪后的监控图像进行光照补偿，从而得到光照补偿后的图像；第三步，将光照补偿后的图像进行图像增强，将图像增强后的数据传递给目标检测模块；

所述的对监控摄像头所摄的监控图像进行均值去噪，其方法是：设监控摄像头所摄的监控图像为X_src，因为X_src为彩色RGB图像，因此存在X_src-R，X_src-G，X_src-B三个分量，对于每一个分量X_src′,分别进行如下操作：首先设置一个3×3维的窗口，考虑该图像X_src′的每个像素点X_src′(i,j),以该点为中心点的3×3维矩阵所对应的像素值分别为[X_src′(i-1,j-1),X_src′(i-1,j),X_src′(i-1,j+1),X_src′(i,j-1),X_src′(i,j),X_src′(i,j+1),X_src′(i+1,j-1),X_src′(i+1,j),X_src′(j+1,j+1)]进行从大到小排列，取其排在中间的值为去噪后图像X_src″在像素(i,j)所对应滤波后值赋值给X_src″(i,j)；对于X_src′的边界点，会出现其3×3维的窗口所对应的某些像素点不存在的情况，那么只需计算落在窗口内存在的像素点的中间值即可，若窗口内为偶数个点，将排在中间两个像素值的平均值作为该像素点去噪后的像素值赋值给X_src″(i,j)，从而，新的图像矩阵X_src″即为X_src在当前RGB分量的去噪后的图像矩阵，对于X_src-R，X_src-G，X_src-B在三个分量分别进行去噪操作后，将得到的X_src-R″，X_src-G″，X_src-B″分量，将这三个新的分量整合成一张新的彩色图像X_Den即为去噪后所得的图像；

所述的对去噪后的监控图像进行光照补偿，设去噪后的监控图像X_Den，因为X_Den为彩色RGB图像，因此X_Den存在RGB三个分量，对于每一个分量X_Den′,分别进行光照补偿，然后将得到的X_cpst′整合得到彩色RBG图像X_cpst，X_cpst即为X_Den光照补偿后的图像，对每一个分量X_Den′分别进行光照补偿的步骤为：第一步，设X_Den′为m行n列，构造X_Den′^sum和Num_Den为同样m行n列的矩阵，初始值均为0，步长窗口大小为l，其中函数min(m,n)表示取m和n的最小值，表示取整数部分,sqrt(l)表示l的平方根，若l1则l＝1；第二步，设X_Den左上角坐标为(1,1),从坐标(1,1)开始，根据窗口大小为l和步长s确定每一个候选框，该候选框为[(a,b),(a+l,b+l)]所围成的区域，对于X_Den′在候选框区域内所对应的图像矩阵进行直方图均衡化，得到候选区域[(a,b),(a+l,b+l)]的均衡化后的图像矩阵X_Den″，然后X_Den′^sum对应的[(a,b),(a+l,b+l)]区域的每一个元素计算X_Den′^sum(a+i_Xsum,b+j_Xsum)＝X_Den′^sum(a+i_Xsum,b+j_Xsum)+X_Den″(i_Xsum,j_Xsum)，其中(i_Xsum,j_Xsum)为整数且1≤i_Xsum≤l，1≤j_Xsum≤l，并将Num_Den对应的[(a,b),(a+l,b+l)]区域内的每一个元素加1；最后，计算其中(i_XsumNum,j_XsumNum)为X_Den对应的每一个点，从而得到X_cpst即为对当前分量X_Den′进行光照补偿；

所述的根据窗口大小为l和步长s确定每一个候选框，其步骤为：

设监控图像为m行n列,(a,b)为选定的区域的左上角坐标，(a+l,b+l)为选定区域的右下角坐标，该区域由[(a,b),(a+l,b+l)]表示，(a,b)的初始值为(1,1)；

当a+l≤m时：

b＝1；

当b+l≤n时：

选定的区域为[(a,b),(a+l,b+l)]；

b＝b+s；

内层循环结束；

a＝a+s；

外层循环结束；

上述过程中，每次选定的区域[(a,b),(a+l,b+l)]均为候选框；

所述的对于X_Den′在候选框区域内所对应的图像矩阵进行直方图均衡化，设候选框区域为[(a,b),(a+l,b+l)]所围成的区域，X_Den″即为X_Den′在[(a,b),(a+l,b+l)]区域内的图像信息，其步骤为：第一步，构造向量I，I(i_I)为X_Den″中像素值等于i_I的个数，0≤i_I≤255；第二步，计算向量第三步，对于X_Den″上的每一个点(i_XDen,j_XDen)，其像素值为X_Den″(i_XDen,j_XDen),计算X″_Den(i_XDen,j_XDen)＝I′(X″_Den(i_XDen,j_XDen))；待X_Den″图像内的所有像素点值都计算并更改后直方图均衡化过程结束，X_Den″内保存的即为直方图均衡化的结果；

所述的将光照补偿后的图像进行图像增强，设光照补偿后的图像为X_cpst，其对应的RGB通道分别为X_cpstR,X_cpstG,X_cpstB，对X_cpst图像增强后得到的图像为X_enh；对其进行图像增强的步骤为：第一步，对于X_cpst的所有分量X_cpstR,X_cpstG,X_cpstB计算其按指定尺度进行模糊后的图像；第二步，构造矩阵L_XenhR,L_XenhG,L_XenhB为与X_cpstR相同维度的矩阵，对于图像X_cpst的RGB通道中的R通道，计算LX_enhR(i,j)＝log(X_cpstR(i,j))-LX_cpstR(i,j)，(i,j)的取值范围为图像矩阵中所有的点，对于图像X_cpst的RGB通道中的G通道和B通道采用与R通道同样的算法得到LX_enhG和LX_enhB；第三步，对于图像X_cpst的RGB通道中的R通道，计算LX_enhR中所有点取值的均值MeanR和均方差VarR(注意是均方差)，计算MinR＝MeanR-2×VarR和MaxR＝MeanR+2×VarR，然后计算X_enhR(i,j)＝Fix((LX_cpstR(i,j)-MinR)/(MaxR-MinR)×255)，其中Fix表示取整数部分，若取值0则赋值为0，取值255则赋值为255；对于RGB通道中的G通道和B通道采用与R通道同样的算法得到X_enhG和X_enhB，将分别属于RGB通道的X_enhR、X_enhG、X_enhB整合成一张彩色图像X_enh；

所述的对于X_cpst的所有分量X_cpstR,X_cpstG,X_cpstB计算其按指定尺度进行模糊后的图像，对于RGB通道中的R通道X_cpstR，其步骤为：第一步，定义高斯函数G(x,y,σ)＝k×exp(-(x²+y²)/σ²)，σ为尺度参数，k＝1/∫∫G(x,y)dxdy，则对于X_cpstR的每一个点X_cpstR(i,j)计算，其中表示卷积运算，对于距离边界低于尺度σ的点，只计算X_cpstR与G(x,y,σ)对应部分的卷积，Fix()表示取整数部分，若取值0则赋值为0，取值255则赋值为255；对于RGB通道中的G通道和B通道采用与R通道同样的算法更新X_cpstG和X_cpstG。