[发明专利]多模态的课堂专注度检测方法和装置

权利要求书

1.一种多模态的课堂专注度检测方法，其特征在于，该方法包括：

获取被测者对刺激源进行反应时的正脸影像；

基于正脸影像获取面部表情特征、头部姿态特征和眼球注视角度特征；

将面部表情特征、头部姿态特征和眼球注视角度特征输入训练好的情绪预测模型，得到情绪预测结果；

将情绪预测结果输入训练好的专注度预测模型，得到专注度预测结果；

所述将面部表情特征、头部姿态特征和眼球注视角度特征输入训练好的情绪预测模型，得到情绪预测结果，包括：

通过每个模态对应的私有双向LSTM获得每一个单模态的内部信息；

通过每两个模态对应的共享双向LSTM获得每一对双模态之间的动态交互信息；

通过三模态对应的共享双向LSTM获得三模态之间的动态交互信息；

将单模态的内部信息、双模态之间的动态交互信息、三模态之间的动态交互信息进行融合，并通过神经网络层输出情绪预测结果。

2.如权利要求1所述的一种多模态的课堂专注度检测方法，其特征在于，所述获取被测者对刺激源进行反应时的正脸影像，包括：

以教学视频为刺激源，通过摄像机获取被测者观看教学视频时的正脸影像。

3.如权利要求1所述的一种多模态的课堂专注度检测方法，其特征在于，所述面部表情特征包括正脸影像中每一帧中的人脸特征点；

所述头部姿态特征包括正脸影像中每一帧中的头部位置参数与方向角参数；

所述眼球注视角度特征包括正脸影像中每一帧中的视线方向。

4.如权利要求3所述的一种多模态的课堂专注度检测方法，其特征在于，所述基于正脸影像获取面部表情特征、头部姿态特征和眼球注视角度特征还包括：

正脸影像的数据预处理；

和

面部表情特征、头部姿态特征和眼球注视角度特征的数据归一化。

5.如权利要求1所述的一种多模态的课堂专注度检测方法，其特征在于，在将面部表情特征、头部姿态特征和眼球注视角度特征输入训练好的情绪预测模型，得到情绪预测结果之前，还包括：

获取其他被测者对相同刺激源进行反应时的面部表情特征、头部姿态特征、眼球注视角度特征、情绪变化信息和专注度变化信息；

将其他被测者的情绪变化信息作为标签、将其他被测者的面部表情特征、头部姿态特征、眼球注视角度特征作为情绪预测模型的输入进行训练，得到训练好的情绪预测模型；

在将情绪预测结果输入训练好的专注度预测模型，得到专注度预测结果之前，还包括：

将其他被测者的专注度变化信息作为标签、将其他被测者的情绪预测结果作为专注度预测模型的输入进行训练，得到训练好的专注度预测模型。

6.如权利要求4所述的一种多模态的课堂专注度检测方法，其特征在于，所述面部表情特征、头部姿态特征和眼球注视角度特征的数据归一化采用Z-Score标准化方法，得到均值为0，标准差为1的标准正态分布的新数据。

7.一种多模态的课堂专注度检测装置，所述装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-6任一所述方法的步骤。