[发明专利]一种基于多学生疲劳状态检测的在线课堂监视方法及系统

说明书

本发明公开了一种基于多学生疲劳状态检测的在线课堂监视方法，主要分成4个模块：学生端，老师端，人脸疲劳检测模块和服务器端，其中疲劳检测模块是学生端的核心模块。在满足基本音视频通话功能下，学生端完成疲劳状态自测，并将疲劳检测结果上传到云端服务器；在获取到学生端的实时监控数据之后，老师端完成学生疲劳检测报表的绘制，该功能辅助老师在授课期间监控学生的学习状态，适当调整自己的教学进度。

技术领域

本发明涉及在线课堂互动交流系统，特别涉及一种基于多学生疲劳状态检测的在线课堂监视方法及系统。

背景技术

在线课堂作为一种新的教学模式，在新冠疫情期间广泛应用在大中小学教育中，有效缓解了学生无法回学校上课导致学业落后的问题。在线课堂为学生们提供了一个安全开放的学习环境，学生可以在任意地方通过网络登录在线课堂，享受低延迟高质量的网络直播授课，而且学生可以通过电子设备截屏，利用图片转文字软件转存笔记，记笔记的方式更加灵活。但是在实际应用中，却存在较多问题，其中最大的不足是课堂中老师无法时刻关注每一个学生的学习状态，无法根据学生的面部表情变化适当调整自己的教学进度，无法保证学生对知识点的理解和掌握情况。学生在云课堂上需要通过自律来保证学习质量，但是这一点对于很多学生很难做到，让学生家长监督孩子上课也不切实际。

为了让学生有更好的学习体验，可以通过疲劳识别技术，辅助老师实时监督学生的学习状态，如果发现学生疲劳，则会第一时间通知老师，老师可以及时做出反应，提醒学生保持专注度，提高在线课堂的学习质量。

发明内容

发明目的：针对上述现有技术，提出一种基于多学生疲劳状态检测的在线课堂监视方法及系统

技术方案一种基于多学生疲劳状态检测的在线课堂监视方法，包括以下步骤：

1)学生端采集学生的脸部图像，并通过疲劳检测模型获取疲劳检测数据完成疲劳自测，接着将疲劳检测数据实时上传到云端服务器；

2)老师端通过云端服务器，实时获取课堂内每个学生的疲劳检测数据，实时监视每个学生的状态。

优选的，步骤1)中学生端在其用户界面中选择要接入的摄像头设备，麦克风设备，完成音视频流的分发；在摄像头设备开启之后，使用疲劳检测模型进行疲劳状态自测，并实时地将疲劳检测数据上传到云端服务器上；

如果主视频界面没有被老师或其他学生占用，则该学生可以上讲台发言，此时该学生的视频流为大流；

如果该学生现在在讲台上，则可以选择下讲台听课，此时该学生的视频流为小流。

优选的，所述疲劳检测模型的构建包括以下步骤：

a)使用轻量级的人脸检测模型SCRFD采集学生符合要求的正脸图片；

b)获取疲劳多特征；

c)使用多特征经验融合算法构建疲劳检测模型。

优选的，步骤a)中通过采集在一段时间间隔内关于学生人脸区域的多个图片，接着在该时间间隔内依次判断图片中的人脸是否处于正脸状态，如果没有一个图片符合正脸要求的，则会提醒学生摆正头部姿态，保持上课专注；继续通过时间窗口采集人脸，直至采集到符合要求的正脸图片为止。

优选的，步骤b)中所述疲劳多特征包括眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征。