[发明专利]一种基于多学生疲劳状态检测的在线课堂监视方法及系统

权利要求书

1.一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，包括以下步骤：

1)学生端采集学生的脸部图像，并通过疲劳检测模型获取疲劳检测数据完成疲劳自测，接着将疲劳检测数据实时上传到云端服务器；

2)老师端通过云端服务器，实时获取课堂内每个学生的疲劳检测数据，实时监视每个学生的状态。

2.如权利要求1所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤1)中学生端在其用户界面中选择要接入的摄像头设备，麦克风设备，完成音视频流的分发；在摄像头设备开启之后，使用疲劳检测模型进行疲劳状态自测，并实时地将疲劳检测数据上传到云端服务器上；

如果主视频界面没有被老师或其他学生占用，则该学生可以上讲台发言，此时该学生的视频流为大流；

如果该学生现在在讲台上，则可以选择下讲台听课，此时该学生的视频流为小流。

3.如权利要求1所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，所述疲劳检测模型的构建包括以下步骤：

a)使用轻量级的人脸检测模型SCRFD采集学生符合要求的正脸图片；

b)获取疲劳多特征；

c)使用多特征经验融合算法构建疲劳检测模型。

4.如权利要求3所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤a)中通过采集在一段时间间隔内关于学生人脸区域的多个图片，接着在该时间间隔内依次判断图片中的人脸是否处于正脸状态，如果没有一个图片符合正脸要求的，则会提醒学生摆正头部姿态，保持上课专注；继续通过时间窗口采集人脸，直至采集到符合要求的正脸图片为止。

5.如权利要求3所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤b)中所述疲劳多特征包括眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征。

6.如权利要求5所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，步骤c)中在符合要求的正脸图片中，找到最大眼睛纵横比所在的图片，作为校准图片，疲劳检测模型使用轻量级的人脸检测模型SCRFD，使用移动端网络模型MobileNetV2进行人脸关键点定位，使用校准图片和头部姿态3个自由度特征信息自适应调整眼睛纵横比阈值，嘴巴纵横比阈值，以及眉眼纵横比阈值，引入眼睛闭合时间百分比特征、嘴巴张开时间百分比特征、头部姿态3个自由度特征、提眉特征、皱眉特征、人脸距离特征，完成疲劳检测模型的构建。

7.如权利要求5所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，在构建疲劳检测模型之后，先对每种疲劳特征进行编码，再人为为每个编码设置疲劳值，接着通过singleton单特征算子，mutual特征组合算子和activate/inhibit激活抑制算子，利用构建好的多特征经验融合模型完成多特征经验融合，通过使用两个KNN分别对短时间间隔/长时间间隔采集的每种疲劳特征进行学习，实现早后期疲劳的级联推理，输出早后期疲劳的疲劳值，根据疲劳值判定是早期疲劳还是后期疲劳，其中KNN是K近邻模型。

8.如权利要求1所述的一种基于多学生疲劳状态检测的在线课堂监视方法，其特征在于，老师端在其用户界面中选择要接入的摄像头设备，麦克风设备，完成音视频流的分发；老师在其用户界面上选择要查看的学生状态类型，其中学生状态类型包括人脸检测和疲劳检测，人脸检测和疲劳检测均通过云端数据以报表的形式显示在老师端的用户界面上，并按疲劳检测数据等级优先调整学生的视频窗口顺序，辅助老师监视学生；其中

对于人脸检测，只需要判断当前学生的人脸是否在屏幕前，进而自动监视学生是否在认真听课；

如果主视频界面没有被老师或其他学生占用，老师可以上讲台讲课，此时该老师的视频流为大流；如果老师现在在台上，则可以选择下讲台巡视，此时该老师的视频流为小流。

9.一种基于多学生疲劳状态检测的在线课堂监视系统，其特征在于，所述系统包括学生端、教师端、疲劳检测模块、云端服务器；

老师端：包括3个子模块：登录注册模块，房间创建模块，和授课监视模块；

在登录注册模块中，老师需要先注册账号才可登录在线课堂监视系统；

在房间创建模块中，老师需要通过输入具有唯一标识的字符串来创建房间，房间创建成功后，直接进入课堂；

在授课监视模块中，老师在其用户界面中可以选择要接入的摄像头设备，麦克风设备，完成音视频流的分发，实现网络授课；

学生端：包括2个子模块：登录注册模块和听课自检模块。

在登录注册模块中，学生需要先注册账号才可登录在线课堂监视系统，在学生的用户界面上，学生需要验证个人信息，并输入房间号进入课堂；

在听课自检模块中，学生在其用户界面上选择要接入的摄像头设备，麦克风设备，完成音视频流分发；在摄像头开启之后，学生端自动获取本地的CPU资源，使用学生端内部的疲劳检测模型进行疲劳状态自测，并实时地将检测结果更新到云端服务器上；

服务器端：包括2个子模块：数据存储模块和音视频通话模块；

在数据存储模块中，完成包括对老师学生个人信息，房间管理信息，以及学生疲劳检测数据的存储；

在音视频通话模块，包括5个子模块：音视频采集模块和音视频编码模块，网络传输模块、音视频解码模块和音视频渲染模块。