[发明专利]学习状态识别方法、装置、设备及存储介质

说明书

本发明涉及计算机技术领域，公开了一种学习状态识别方法、装置、设备及存储介质。本方法包括：通过从采集的实时视频流提取至少两帧包含目标对象的实时视频图像，并将实时视频图像输入人脸识别模型输出人脸识别结果；根据人脸识别结果，确定实时视频图像中目标对象的区域范围；根据目标对象的区域范围，从实时视频图像中提取目标对象对应的肢体图像和面部图像；将肢体图像和面部图像输入预设行为分析模型，通过行为分析模型对肢体图像和面部图像进行分析识别，得到目标对象的学习状态识别结果。能够准确检测用户学习状态，提高用户的学习效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种学习状态识别方法、装置、设备及存储介质。

背景技术

随着科学技术的不断发展，随着移动互联网的发展和智能终端的普及，线上学习慢慢成为一种大众化的学习方式，学生可以足不出户进行学习，不需要到特定地点上课，通过电子设备与互联网进行学习即可。但由于不受地理、时间的约束，学生可自行选择学习的时间及地点，导致家长、老师等无法实时关注用户的学习状态，无法保证学生的学习效果。因此，如何通过对学习视频进行识别检测，以确定学生的学习状态，保证学生的学习效果，成为了亟需解决的技术问题。

发明内容

本发明的主要目的是通过用户的学习视频进行识别检测，能够准确检测用户学习状态，提高用户的学习效率。

本发明第一方面提供了一种学习状态识别方法，包括：采集预设场景的实时视频图像，并将所述实时视频图像输入预设人脸识别模型，得到人脸识别结果；根据所述人脸识别结果，确定所述实时视频图像中目标对象的区域范围；根据所述目标对象的区域范围，从所述实时视频图像中提取所述目标对象对应的肢体图像和面部图像；分别对所述肢体图像和所述面部图像进行分类，得到所述肢体图像和所述面部图像的图像类型；根据所述图像类型，分别调用与所述图片类型对应的行为分析模型，通过所述行为分析模型对所述肢体图像和所述面部图像进行行为分析，得到行为分析结果，并根据所述行为分析结果确定所述目标对象的学习状态识别结果。

可选地，在本发明第一方面的第一种实现方式中，在所述采集预设场景的实时视频图像，并将所述实时视频图像输入预设人脸识别模型，得到人脸识别结果之前，还包括：采集预设场景的视频数据，并从所述视频数据中提取预设时间段的历史视频图像；对所述历史视频图像进行识别，得到每一帧所述历史视频图像中的目标对象的行为特征数据；根据所述目标对象的行为特征数据，计算所述目标对象的学习状态数据；将所述学习状态数据作为训练样本数据，并将所述训练样本数据输入至预设的神经网络模型进行训练，以得到行为分析模型。

可选地，在本发明第一方面的第二种实现方式中，所述根据所述目标对象的行为特征数据，计算所述目标对象的学习状态数据，包括：根据每一帧所述目标对象的行为特征数据，确定所述目标对象的头部位置和面部区域，并根据所述面部区域计算所述目标对象的人脸面积；根据所述目标对象的人脸面积和所述目标对象的五官位置，计算五官分布的偏离程度；基于所述五官分布的偏离程度，计算所述目标对象的学习状态数据。

可选地，在本发明第一方面的第三种实现方式中，所述的预设的神经网络模型包括输入层、特征提取层、隐藏层、池化层和输出层，所述将所述训练样本数据输入至预设的神经网络模型进行训练，以得到行为分析模型，包括：将所述训练样本数据通过所述输入层输入预设的神经网络模型，并基于所述神经网络模型的特征提取层对所述训练样本数据进行特征提取，得到第一训练特征；将所述第一训练特征输入所述隐藏层，得到与所述第一训练特征对应的第二训练特征；基于所述池化层对所述第二训练特征进行特征降维，得到第三训练特征；基于所述第三训练特征进行分类，并通过所述输出层输出分类结果；基于所述分类结果，对所述神经网络模型的参数进行调整，直至所述神经网络模型收敛，得到行为分析模型。