[发明专利]一种课堂专注度分析方法、装置和存储介质

权利要求书

1.一种课堂专注度分析方法，其特征在于，包括以下步骤：

获取视频数据；

根据所述视频数据对目标学生进行专注度检测，所述专注度检测包括头部姿态检测、脸部表情检测、动作检测、手机检测以及基于门控过滤机制的多模态规则融合网络；

对所述专注度检测到的多个模态特征放入基于门控过滤机制的多模态规则融合网络进行推测综合专注度，得到所述目标学生的专注度得分；

其中，所述对所述专注度检测到的多个模态特征放入基于门控过滤机制的多模态规则融合网络进行推测综合专注度，得到所述目标学生的专注度得分，包括：

将头部姿态特征和脸部表情特征放入门控过滤机制中进行融合，门控过滤机制的公式如下：

x表示人脸表情特征，y表示头部姿态特征，W和b均表示可学习的权重，表示激活层，所述激活层采用tanh激活函数；

将人脸表情特征以及头部姿态特征的特征向量相加后的结果一同放入门控注意力机制中，再经过全连接层分类得到头部专注度数值，门控注意力机制的公式如下：

W₁、W₂、C、b都是可学习的权重，tanh为激活函数，softmax为逻辑回归模型，N为一共抽取的帧数，h_i为对应帧的门控gate融合后的特征，v_i为对应表情特征与头部姿态特征向量相加后的特征；

根据动作检测分类结果和手机检测结果进行规则融合得到动作专注度数值；

对所述头部专注度数值和所述动作专注度数值进行加权求和，得到所述目标学生的专注度得分。

2.根据权利要求1所述的课堂专注度分析方法，其特征在于，在所述根据所述视频数据对目标学生进行基于门控过滤机制的多模态规则融合网络的专注度推测这一步骤之前，还包括以下步骤：

通过预先设定的人脸识别模型从所述视频数据中获取所述目标学生的人脸图像和所述人脸图像的面部关键点，所述预先设定的人脸识别模型为RetinaFace模型，并使用MobileNetV3模型来作为人脸识别的主干模型。

3.根据权利要求2所述的课堂专注度分析方法，其特征在于，所述根据所述视频数据对目标学生进行头部姿态检测，包括：

采用HopeNet模型将所述面部关键点投影到三维模型，得到虚拟的三维角度；

对所述虚拟的三维角度根据预设角度间隔划分，得到每个角度的标签，并计算划分过程中的交叉熵误差；

对每个区间的标签进行还原，得到真实的三维角度，并计算回归过程中的均方误差；

根据所述真实的三维角度确定所述目标学生的头部姿态。

4.根据权利要求2所述的课堂专注度分析方法，其特征在于，所述根据所述视频数据对脸部表情检测，其具体为：

采用预先训练的人脸情绪分类网络模型检测所述目标学生的脸部表情；

所述人脸情绪分类网络模型的训练步骤，包括：

获取若干张第一训练图像，所述第一训练图像包括脸部信息；

对每一张训练图像进行人脸表情标注；

根据标注后的训练图像对所述人脸情绪分类网络模型进行训练。

5.根据权利要求1所述的课堂专注度分析方法，其特征在于，所述根据所述视频数据对目标学生进行手机检测，其具体为：

采用预先训练的Mask-RCNN模型从所述视频数据对目标学生进行手机检测；

所述Mask-RCNN模型的训练步骤，包括：

获取若干张第二训练图像，所述第二训练图像包括手机信息；

标注若干张所述第二训练图像中的所有手机型号，并对若干张所述第二训练图像进行大小处理；

根据特征标注和大小处理后的第二训练图像对所述Mask-RCNN模型进行训练。

6.根据权利要求1所述的课堂专注度分析方法，其特征在于，所述根据所述视频数据对目标学生进行动作检测，包括：

获取所述视频数据中的人体图像；

采用人体姿态识别模型识别所述人体图像的骨骼关键点；

计算所述骨骼关键点之间的距离以及角度；

根据得到的所述骨骼关键点距离以及角度确定所述目标学生的动作。