[发明专利]多模态的课堂专注度检测方法和装置

说明书

本发明提供了一种多模态的课堂专注度检测方法和装置，涉及智慧课堂技术领域。本发明区别于传统的单模态情绪检测，采用的多模态情绪检测更能充分的记录被测者的情绪特征，达到较高的精确度。且通过构建情绪模型进而由情绪特征识别专注度变化，有助于在很多应用场景下辅助其它检测手段对专注度进行更为精确的测量。

技术领域

本发明涉及智慧课堂技术领域，具体涉及一种多模态的课堂专注度检测方法和装置。

背景技术

影响学习效果的因素一直是教育研究人员关注的话题，而课堂专注度是影响学习效果的重要因素。

课堂专注度检测目前主要通过两种技术，一种是基于面部表情、另一种是基于生理特征。

基于面部表情的方法需要近距离识别面部清晰表情，且容易受到外物的干扰，如口罩等；而基于生理特征的方法主要通过复杂的可穿戴设备测量脑电、心电、皮肤电、血压及呼吸变化来识别学习者学习过程中的情感状态，在实际应用中会比较困难，且接触式的传感器在很多场景下并不适用。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多模态的课堂专注度检测方法和装置，解决了现有专注度检测通过单模态信息来检测专注度的准确度较差的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，一种多模态的课堂专注度检测方法，该方法包括：

获取被测者对刺激源进行反应时的正脸影像；

基于正脸影像获取面部表情特征、头部姿态特征和眼球注视角度特征；

将面部表情特征、头部姿态特征和眼球注视角度特征输入训练好的情绪预测模型，得到情绪预测结果；

将情绪预测结果输入训练好的专注度预测模型，得到专注度预测结果。

进一步的，所述获取被测者对刺激源进行反应时的正脸影像，包括：

以教学视频为刺激源，通过摄像机获取被测者观看教学视频时的正脸影像。

进一步的，所述面部表情特征包括正脸影像中每一帧中的人脸特征点；

所述头部姿态特征包括正脸影像中每一帧中的头部位置参数与方向角参数；

所述眼球注视角度特征包括正脸影像中每一帧中的视线方向。

进一步的，所述基于正脸影像获取面部表情特征、头部姿态特征和眼球注视角度特征还包括：

正脸影像的数据预处理；

和

面部表情特征、头部姿态特征和眼球注视角度特征的数据归一化。

进一步的，所述将面部表情特征、头部姿态特征和眼球注视角度特征输入训练好的情绪预测模型，得到情绪预测结果，包括：

通过每个模态对应的私有双向LSTM获得每一个单模态的内部信息；

通过每两个模态对应的共享双向LSTM获得每一对双模态之间的动态交互信息；

通过三模态对应的共享双向LSTM获得三模态之间的动态交互信息；

将单模态的内部信息、双模态之间的动态交互信息、三模态之间的动态交互信息进行融合，并通过神经网络层输出情绪预测结果。

进一步的，在将面部表情特征、头部姿态特征和眼球注视角度特征输入训练好的情绪预测模型，得到情绪预测结果之前，还包括：