[发明专利]一种基于面部识别的学生网课学习状态评价方法及系统

权利要求书

1.一种基于面部识别的学生网课学习状态评价方法，其特征在于，包括：

S1：获取学生的面部图像、学生回答问题情况以及学生信息；

S2：根据学生回答问题情况与参考答案的对比情况，获得学生的回答问题结果；

S3：将采集的面部图像进行标准化处理成一致的画面信息后输入到训练好的微表情识别卷积神经网络模型中，得到学生的网课听课理解程度状态；

S4：对采集的面部图像进行人脸识别，提取出人脸图片并进行面部特征提取，得到学生的面部尺寸和眼睛张开高度，其中，学生的面部尺寸包括面部长度和宽度；根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度；

S5：将学生的回答问题结果、网课听课理解程度状态以及专注度作为学生网课学习状态评价结果；

其中，S3中训练好的微表情识别卷积神经网络模型的构建方法包括：

在微表情数据库中寻找分别符合愉悦、理解、困惑状态特征的人脸微表情图片，将理解程度状态对应的图片经过压缩、拉伸、锐化过程过后，处理成统一尺寸和格式的图片信息作为训练数据，其中，将学生的网课听课理解程度状态划分三个等级：愉悦、理解、困惑，愉悦对应的面部特征包括眼睛张开、面部正对屏幕和嘴角上扬，理解对应的面部特征包括面部正对屏幕和眉毛舒展，困惑对应的面部特征包括眉头紧锁、眼睛微眯和嘴角向下；

确定微表情识别卷积神经网络模型的结构，模型的结构包括输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、特征层、全连接层、分类层以及输出层；

根据预设模型参数，采用训练数据对微表情识别卷积神经网络模型进行训练，得到训练好的微表情识别卷积神经网络模型；

S4中根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况、学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，得到学生的专注度，包括：

S4.1：根据学生的面部长度与宽度的比值与预设标准面部长宽比的比较情况对i时刻学生是否面部正对屏幕进行判定，其中，没有正对屏幕则判定为不专注，正对屏幕则进行下一步判定，正对屏幕的判定公式如下：

其中，L_i和W_i为i时刻学生的面部的长度和宽度，L_s和W_s为学生标准的面部的长度和宽度；

S4.2：根据学生的眼睛张开高度与预设标准面部眼睛张开高度的比较情况，对学生的眼睛张度进行判定，得到学生i时刻的专注程度，判定公式如下式所示：

其中，H_i为i时刻学生的眼睛张开高度，H_s为学生标准的眼睛张开高度，L_i为i时刻学生的面部的长度，L_s为学生标准的面部的长度，如果大于，判定i时刻学生是专注的，如果小于，判定i时刻学生是不专注的；

根据学生i时刻的专注程度，连续监测预设时长内学生状态是否为不专注，如果均为不专注，则判定学生状态为不专注。

2.如权利要求1所述的方法，其特征在于，S3具体包括：

S3.1：采集的面部图像对应的通过输入层进入图片信息输入第一卷积层，通过第一卷积层进行特征提取；

S3.2：通过第一池化层对S4.1得到的图像进行降维压缩处理；

S3.3：通过第二卷积层对降维压缩处理后的图像进行特征提取，再通过第二池化层进行降维压缩；

S3.4：通过特征层将S4.3得到的图像压缩为一个一维向量后输出到全连接层；

S3.5：通过由多个神经元向前连接构成的全连接层输出到分类层中；

S3.6：通过分类层将全连接层输出的结果与对应的理解程度状态进行匹配，得到图片对应的理解程度状态；

S3.7：通过输出层输出图片对应的理解程度状态。

3.如权利要求2所述的方法，其特征在于，在S3.7之后所述方法还包括：对不同的理解程度状态赋予不同的分值。