[发明专利]基于面部表情识别的课堂教学效果评价系统

摘要

本发明公开了一种基于面部表情识别的课堂教学效果评价系统。本发明通过实时分析课堂上的视频，提取出课堂上学生的面部表情，统计分析出学生在课堂上的理解度、活跃度、疑惑度和活跃时间指标信息供教师了解学生的心理状态，学生对该知识点的掌握程度，使教师采取相应的教学调控手段，提高课堂的教学质量；自动分析教师的课堂表情状态，统计出教师的课堂表情指标，提供教学管理人员考核教师的课堂情感依据。记录下师生的课堂表情，并统计分析出师生的课堂表情指标，该指标作为课堂教学评估的一项参考指标具有全面性、客观性。统计出目标课程在各个学校的课堂教学效果，以供课程改革作为参考。用户通过本发明的技术方案，能使教师和教学管理人员更能贯彻以学生为主的教学理念。

主权项

1.基于面部表情识别的课堂教学效果评价系统，其特征在于该系统包含的步骤为：视频监控模块、关键帧提取模块、图像处理模块、统计分析模块。(1)视频监控模块采用3台固定摄像头安装方式，其中1台监控讲台上的教师，另外2台监控台下左右两边的学生，避免目标的遮挡。通过该模块对摄像头的参数进行调整，能对教室无盲区、图像清晰地拍摄，视频信号通过网络传输到服务器。供关键帧提取模块使用。(2)关键帧提取模块提取出课堂教学视频中某个时刻的帧，并把帧转成224×224×3大小的图像。供图像处理模块使用。(3)图像处理模块包括图像噪声过滤单元、人脸的检测和提取单元、表情特征提取单元和人脸表情识别单元。人脸表情识别结果供统计分析模块使用。(3‑1)图像噪声过滤单元过滤掉关键帧图像的噪声。供人脸的检测和提取单元使用。(3‑2)人脸的检测和提取单元对关键帧图像中的人脸进行检测和定位，并提取出人脸图像。供人脸表情识别单元使用。(3‑3)人脸表情识别单元分析表情特征信息和表情的关系，并将输入的表情特征分类到相应的表情类别中。得到表情识别结果。(4)统计分析模块统计分析学生对课堂内容的理解度、活跃度、疑惑度、活跃时间、以及教师上课时的愉悦度指标供如下单元使用：分析学生上课情况单元、分析教师上课情况单元、教学效果评价单元、课程改革研究单元。(4‑1)理解度指标指随机取某一时刻t，当某个学生i在该时刻处于眉毛自然舒展状态，则该学生对课堂内容的理解度系数为否则为0；教室中的学生总数为n，则课堂理解度的计算公式为：(4‑2)活跃度指标指随机取某一时刻t，当本系统对某个学生i在该时刻的人脸检测失败教室中的学生总数为n，本项目采用排除法，该班活跃的学生数就是学生总数减去人脸检测失败的人数，即全班学生活跃度公式为：采用这种计算方法的原因是学生处于听课时的姿态比较单一，而处于不想听课的学生比较消极，他的头低下去，对计算机的人脸检测的难度非常大。(4‑3)疑惑度指标指随机取某一时刻t，当学生i的眉毛紧锁或嘴角下移，则他处于疑惑心理状态教室中的学生总数为n，具体公式为：(4‑4)活跃时间指标指在t时刻，该班级的学生活跃度h(t)＞ε时，全班学生处于活跃状态θ(t)＝1，其中ε为阀值，本系统设置为0.8，即全班有80％的学生处于积极听课的状态，设图像采样为K帧，活跃时间的公式为：(4‑5)愉悦度指标衡量课堂上教师的课堂气氛，设对教师的课堂采集图像为K帧，愉悦度公式为：当t时刻，该教师的心理状态是愉悦时，则σ(t)＝1，否则σ(t)＝0。(4‑6)分析学生上课情况单元可以实时记录和分析学生的听课情况，学生在学习过程中的情绪变化，并统计出该时刻有多少学生在认真学习；以及在整节课结束后汇总出该学生的学习情况，最后输出相应的学习情况参考分，供教师给出学生平时成绩。以及锁定某个学生的整节课的课堂表情，跟踪目标对象，对目标对象在课堂中的听课状态进行统计分析，能使教师对个体有针对性指导和矫正存在的学习问题。(4‑7)分析教师上课情况单元对教师在课堂的表情分析，得出教师的上课态度的愉悦度指标。提供学校的教学管理人员对该教师的上课情况进行评价的依据。(4‑8)教学效果评价单元可以依据师生平时的课堂情况定期形成“报警”，并通过微信反馈给教师和学生，让学生能及时调整自己的学习态度，甚至可以在下课后立即反馈结果给各个学生让学生能及时了解自己的上课情况，让教师了解自己的教学状态。同时也使教学管理人员了解师生的课堂表现，得出教学效果的客观结论。还可以统计出全国高校、985高校、211高校、华东5省高校学生对某一课程的课堂效果，客观得出该课程在不同层次的高校中的教学效果，供教学管理人员参考。(4‑9)课程改革研究单元能更客观地看到某门课程在各个学校的课堂教学效果，也能统计出该课程在所有学校的教学效果，形成大数据。以供教学管理人员作参考信息。推进课程改革。