[发明专利]一种课堂表现评价方法及系统

权利要求书

1.一种课堂表现评价方法，其特征在于，包括：

采集课堂图像，识别课堂图像中的每个学生的人体骨骼点位置；

根据识别出的每个学生的人体骨骼点位置预估对应的人脸位置并获取该位置的人脸图像；

将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；

基于学生行为分析模型，确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；

基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；

学生成绩预估，包括，收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩构建行为成绩模型，所述行为成绩模型构建为：

Y＝[x1,x2,…xn]*[w0,w1,w2,…wn]T

其中，

Y为学生成绩；

[x1,x2,…xn]为学生行为一段时间内学生的行为类型以及表情类型特征；

[w0,w1,w2,…wn]为学生行为类型以及表情类型特征对应的权重；

利用最优算法求取权重，构建出行为成绩模型；

利用行为成绩模型，预估该单个学生的学习成绩。

2.如权利要求1所述的一种课堂表现评价方法，其特征在于，所述确定每个身份的学生对应的人脸图像对应的表情类型包括，基于开源的人脸表情库，训练深度学习网络作为人脸表情神经网络；表情类型包括正常、开心、生气、惊讶、悲伤、恶心以及害怕。

3.如权利要求2所述的一种课堂表现评价方法，其特征在于，所述学生行为包括抬头或低头中任意一种，以及举手、起立、趴桌子、学习以及玩手机中任意一种，所述人体骨骼点位置包括了脖子点、鼻子点、左右肩膀点、左右手肘点、左右手腕点、左右眼睛点以及左右耳朵点的位置。

4.如权利要求3所述的一种课堂表现评价方法，其特征在于，所述学生行为分析模型包括：

低头或抬头判别，若人体骨骼点中鼻子点低于脖子点和/或鼻子点低于左右肩膀点中任意一点和/或左右耳朵点中任意一点低于脖子点，则判定为低头，反之，则判定为抬头；

举手判别，若左右手腕点中任意一点高于鼻子点且该高于鼻子点的手腕点与鼻子点的距离不低于一预定值和/或手腕点与对应一侧的手肘点的连线与桌面的夹角在预设的角度内，则判定为举手；

起立判别，起立判别，在非低头的情况下，若其中一只手臂处于自然下垂状态，则判定为起立，所述手臂处于自然下垂状态判定方法为：若手肘点和对应侧的肩膀点的连线与该手肘点和对应侧的手腕点的连线构成的夹角为180度减去一偏差角；

趴桌子判别，若满足预估的人脸位置识别不到鼻子点以及左和/或右眼睛点和/或鼻子点低于脖子点一预定距离中任意一种，则判定为趴桌子；

玩手机判别模型，在非举手情况下，分别识别左右手腕点位置并分别以所述左右手腕点为中心按预设距离构建两个手机预选框，若所述两个手机预选框相交面积大于预设的阈值，则融和两个手机预选框成为一个手机预选框，利用预训练完成的手机深度学习网络模型分别对所述手机预选框进行是否存在手机的分类，若分类结果中存在手机，则判定为玩手机；

学习状态判别，若未被判定为举手、起立、趴桌子以及玩手机中任意一种，则判定为学习。

5.如权利要求1所述的一种课堂表现评价方法，其特征在于，所述根据每个学生的人体骨骼点位置预估对应的人脸位置的方法为：

获取人体骨骼点中脸部特征点，求取脸部特征点位置区域的最小外接矩形作为人脸位置矩形框，所述脸部特征点包括脖子点、鼻子点、左右眼睛点以及左右耳朵点；

若脸部特征点均未识别到，则获取人体骨骼点中身体特征点，求取身体特征点位置区域的最小外接矩形后按预设定的规则作变换获得的矩形作为人脸位置矩形框，所述身体特征点包括左右肩膀点、左右手肘点、左右手腕点。

6.如权利要求5所述的一种课堂表现评价方法，其特征在于，所述将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比后，若该人脸图像匹配失败，则提取出一段时间内该人脸图像位置附近出现过且未被识别到的班级学生的人脸图像进行比对，若匹配失败，则放弃该人脸图像的匹配。