[发明专利]学习状态识别方法、装置、设备及存储介质

权利要求书

1.一种学习状态识别方法，其特征在于，所述学习状态识别方法包括：

采集预设场景的实时视频图像，并将所述实时视频图像输入预设人脸识别模型，得到人脸识别结果；

根据所述人脸识别结果，确定所述实时视频图像中目标对象的区域范围；

根据所述目标对象的区域范围，从所述实时视频图像中提取所述目标对象对应的肢体图像和面部图像；

分别对所述肢体图像和所述面部图像进行分类，得到所述肢体图像和所述面部图像的图像类型；

根据所述图像类型，分别调用与所述图片类型对应的行为分析模型，通过所述行为分析模型对所述肢体图像和所述面部图像进行行为分析，得到所述目标对象的学习状态识别结果。

2.根据权利要求1所述的学习状态识别方法，其特征在于，在所述采集预设场景的实时视频图像，并将所述实时视频图像输入预设人脸识别模型，得到人脸识别结果之前，还包括：

采集预设场景的视频数据，并从所述视频数据中提取预设时间段的历史视频图像；

对所述历史视频图像进行识别，得到每一帧所述历史视频图像中的目标对象的行为特征数据；

根据所述目标对象的行为特征数据，计算所述目标对象的学习状态数据；

将所述学习状态数据作为训练样本数据，并将所述训练样本数据输入至预设的神经网络模型进行训练，以得到行为分析模型。

3.根据权利要求2所述的学习状态识别方法，其特征在于，所述根据所述目标对象的行为特征数据，计算所述目标对象的学习状态数据，包括：

根据每一帧所述目标对象的行为特征数据，确定所述目标对象的头部位置和面部区域，并根据所述面部区域计算所述目标对象的人脸面积；

根据所述目标对象的人脸面积和所述目标对象的五官位置，计算五官分布的偏离程度；

基于所述五官分布的偏离程度，计算所述目标对象的学习状态数据。

4.根据权利要求2所述的学习状态识别方法，其特征在于，所述预设的神经网络模型包括输入层、特征提取层、隐藏层、池化层和输出层，所述将所述训练样本数据输入至预设的神经网络模型进行训练，以得到行为分析模型，包括：

将所述训练样本数据通过所述输入层输入预设的神经网络模型，并基于所述神经网络模型的特征提取层对所述训练样本数据进行特征提取，得到第一训练特征；

将所述第一训练特征输入所述隐藏层，得到与所述第一训练特征对应的第二训练特征；

基于所述池化层对所述第二训练特征进行特征降维，得到第三训练特征；

基于所述第三训练特征进行分类，并通过所述输出层输出分类结果；

基于所述分类结果，对所述神经网络模型的参数进行调整，直至所述神经网络模型收敛，得到行为分析模型。

5.根据权利要求1所述的学习状态识别方法，其特征在于，所述通过所述行为分析模型对所述肢体图像和所述面部图像进行行为分析，得到所述目标对象的学习状态识别结果，包括：

分别对所述目标对象对应的肢体图像和面部图像进行特征提取，得到所述目标对象的肢体动作特征向量和所述目标对象的表情特征数据向量；

将所述肢体动作特征向量和所述表情特征数据向量进行特征融合，得到目标特征图；

通过所述行为分析模型对所述目标特征图进行行为分析，得到所述目标对象的学习状态识别结果。

6.根据权利要求1所述的学习状态识别方法，其特征在于，所述通过所述行为分析模型对所述肢体图像和所述面部图像进行行为分析，得到所述目标对象的学习状态识别结果，还包括：

通过所述行为分析模型，对所述目标对象的面部图像进行情绪识别，得到所述目标对象的情绪识别结果；

通过所述行为分析模型，对所述目标对象的肢体图像进行动作识别，得到所述目标对象的姿态识别结果；

根据所述目标对象的情绪识别结果和所述目标对象的姿态识别结果，确定所述目标对象的学习状态识别结果。