[发明专利]基于深度学习的多学生个体分割及状态自主识别方法

说明书

本发明提供了基于深度学习的多学生个体分割及状态自主识别方法，包括：采集正常上课视频，进行分帧处理，得到课堂视频的连续帧图像；分割出学生个体和非学生个体，将不学生生个体标记为不同颜色的掩码；通过人脸特征点定位方法找到每个学生个体的人眼特征点，计算每个学生个体的人眼闭合度特征值，判断每个学生个体当前是否处于听课状态；判断所有学生个体是否检测到人脸，判断学生个体的听课状态等级；结合每个学生个体是否处于听课状态及每个学生个体是否处于未抬头状态设计了整个课堂时段学生听课效率评估方法。本发明为实现学生听课状态自主识别及听课效率的判别提供解决方法，具有速度快、识别率高、环境适应能力强的优点。

技术领域

本发明涉及机器学习及机器视觉的技术领域，具体涉及基于深度学习的多学生个体分割及状态自主识别方法。

背景技术

近年来，智慧课堂的概念已初露头角，它是一种将先进信息采集与传输技术，各种智能传感技术，以及计算机处理技术高效整合到教育领域的新兴理念。而课堂是教育的核心，学生的听课状态是课堂效率最直接有效的体现，现有的课堂教学反馈还停留在主观的人工分析阶段，耗费精力，效率低，且不能全面地监测每位学生的状态。目标分割是视觉分析的基础，利用卷积神经网络实现对图像中每个像素精细标注，从而确定图像中各物体的位置与类别信息，目前已应用于自动驾驶、图像检索、医学检测等领域，随着技术的发展，目标分割在未来的智慧课堂中也将占有一席之地。随着人工智能的发展，实现学生听课状态自主识别与评估反馈已成为智慧课堂的趋势所在。

目前提出的学生听课状态识别方法较少，有基于人体特征点识别、基于压力传感器数据采集等方法，这些方法仍存在一些不可避免的缺陷，主观性较强，准确率较低，成本较高。本发明为实现学生听课状态自主识别及听课效率的判别提供解决方法，具有速度快、识别率高、环境适应能力强的优点。

发明内容

本发明的目的是提供一种运算速度快、识别率高、环境适应能力强的基于深度学习的多学生个体分割及状态自主识别方法。

为实现上述目的，本发明采用了如下技术方案：所述的基于深度学习的多学生个体分割及状态自主识别方法，包括以下步骤：

步骤1：采集正常上课视频，对所采集的视频进行分帧处理，得到每10秒一张待处理的图像，将得到的所有图像合帧，得到课堂视频的连续帧图像；

步骤2：利用基于Mask R-CNN(Mask Region-Convolutional Neural Network，掩模区域卷积神经网络)的多学生个体分割方法分割出课堂视频的连续帧图像中的学生个体和非学生个体，并将不同学生个体标记为不同颜色的掩码，得到标记学生掩码的课堂连续帧图像；

步骤3：利用步骤2得到的标记学生掩码的课堂连续帧图像，通过人脸特征点定位方法【经典的AdaBoost算法，可参考王一轲.人脸检测与人脸特征点定位方法的设计与实现,电子科技大学,硕士学位论文,2015,pp.29-39】找到每个学生个体的人眼特征点，利用人眼特征点计算每个学生个体的人眼闭合度特征值，通过人眼闭合度特征值判断每个学生个体当前是否处于听课状态；

步骤4：利用人脸特征点定位方法判断所有学生个体是否检测到人脸，根据所有学生个体中未检测到人脸的个数占所有学生个体的比例，判断学生个体的听课状态等级；

步骤5：根据上述步骤处理完所有课堂视频的连续帧图像后，结合每个学生个体是否处于听课状态及每个学生个体是否处于未抬头状态，设计整个课堂时段学生听课效率评估方法，通过对不同听课状态打分加权计算出学生整个课堂时段听课效率百分比。

进一步地，所述步骤1包括：

步骤1.1：录制整个课堂时段的全体学生正面视频，将所录制的视频保存至计算机；

步骤1.2：获得整个课堂时段的全体学生正面视频总帧数，得到每十秒的帧数，设置每十秒的帧数取一次帧，将每次取得的帧转化为每10秒一张待处理的图像输出保存至计算机；