[发明专利]一种课堂专注度分析方法、装置和存储介质

说明书

本发明公开了一种课堂专注度分析方法、装置及存储介质。该方法通过获取视频数据，并根据视频数据对学生进行由头部姿态检测、脸部表情检测、动作检测和手机检测组成的多模态专注度检测，最后将多模态特征放入基于门控过滤机制的多模态规则融合网络中进行融合，得到学生的专注度得分。通过使用本发明中的方法，能够实现对学生听讲专注度的量化与测量，从而帮助教育者更简单有效地了解学生的听课情况。本发明可广泛应用于教学领域内。

技术领域

本发明涉及教学领域，尤其是一种课堂专注度分析方法、装置和存储介质。

背景技术

有效教学一直是教育领域所追求的目标，而专注度是衡量有效教学的一个重要指标。课堂学生听讲专注度是教学过程中的一个极其重要的考量，是影响教学质量和课堂效率的一个关键因素。目前通常是通过眼动仪采集学生的眼动信息或者在课中进行监测记录，从而实现对学生专注度的测量。

但是，在通常的教室课堂专注度分析中，仅仅通过眼动仪或者在课中进行检测记录来对专注度进行判断所得的有效信息比较少，有时候学生脸部表情正常，但是身体却是在做别的动作，甚至在课堂吃东西或者看手机。因此，现阶段缺乏全面的、系统的、智能的、可行的对学生听讲专注度量化、测量的方法，并且缺少对学生听讲专注度简单有效的测评实现手段，无法实现全数字化、信息化、智能化的学生听讲专注度测量过程，现有技术中存在的这些问题亟待解决。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种课堂专注度分析方法、装置和介质，其能够对学生进行专注度检测，从而实现了对学生听讲专注度的量化与测量。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种课堂专注度分析方法，包括以下步骤：

获取视频数据；

根据所述视频数据对目标学生进行专注度检测，所述专注度检测包括头部姿态检测、脸部表情检测、动作检测、手机检测以及基于门控过滤机制的多模态规则融合网络；

对所述专注度检测结果进行不同领域的规则融合，得到所述目标学生的专注度得分。

进一步地，在所述根据所述视频数据对目标学生进行专注度检测这一步骤之前，还包括以下步骤：

通过预先设定的人脸识别模型从所述视频数据中获取所述目标学生的人脸图像和所述人脸图像的面部关键点，所述预先设定的人脸识别模型为RetinaFace模型，并使用MobileNetV3模型来作为人脸识别的主干模型。

进一步地，所述根据所述视频数据对目标学生进行头部姿态检测，包括：

采用HopeNet模型将所述面部关键点投影到三维模型，得到虚拟的三维角度；

对所述虚拟的三维角度根据预设角度间隔划分，得到每个角度的标签，并计算划分过程中的交叉熵误差；

对每个区间的标签进行还原，得到真实的三维角度，并计算回归过程中的均方误差；

根据所述真实的三维角度确定所述目标学生的头部姿态。

进一步地，所述根据所述视频数据对脸部表情检测，其具体为：

采用预先训练的人脸情绪分类网络模型检测所述目标学生的脸部表情；

所述人脸情绪分类网络模型的训练步骤，包括：

获取若干张第一训练图像，所述第一训练图像包括脸部信息；

对每一张训练图像进行人脸表情标注；

根据标注后的训练图像对所述人脸情绪分类网络模型进行训练。