[发明专利]一种学生课堂行为识别系统、方法、介质及终端设备

说明书

本发明属于智慧校园技术领域，公开了一种学生课堂行为识别方法，包括以下步骤：步骤S1：图像获取与分类，并构建数据集；步骤S2：将数据集分为训练集、验证集和测试集，并对图像进行预处理；步骤S3：扩大训练集；步骤S4：使用在ImageNet数据集上训练好的ResNet50网络结构作为预训练模型对数据扩容后的训练集进行训练，根据验证集的验证结果对网络参数进行微调，训练得到的分类模型用于后期学生图像行为识别；步骤S5：利用分类模型对测试集进行测试，观察图像的差异，得到模型的分类效果，保存分类结果。本发明有效的提高了课堂观察效率；有效的辅助教师进行课堂评估，从而帮助教师及时改进教育方法。

技术领域

本发明涉及智慧校园技术领域，具体的说，是一种学生课堂行为识别系统、方法、介质及终端设备。

背景技术

随着智慧校园建设的蓬勃发展，高校信息化和网络化建设己经从数字化迈向智能化。在教学过程中，学生的课堂行为对教学活动的展开与教学策略的调整具有重要的借鉴意义。在传统课堂教学中，学生行为识别主要通过人工观察实现，但该方法不仅繁琐且耗时，显然无法满足教育大数据时代的需求。因此探索如何利用机器自动识别学生行为成为一个函待解决的问题；

课堂观察是一种评估教师教学水平的重要方式。研究显示，课堂中学生的参与状态、互动状态对于学生课堂知识吸收情况影响较大。参与状态具体指学生是否认真听讲，是否参与记笔记，是否有走神以及东张西望等动作。互动状态具体指学生是否举手发言、站立回答问题等都反映了学生的课堂参与度。可见学生课堂上的行为与姿态不仅反映学生课堂参与度，同时也反映了教师教学水平与教学吸引力。

由于学生行为往往具有连贯性，因此基于视频的学生课堂行为识别效果要优于单帧图像的识别效果，但是由于视频对应的深度学习模型结构非常复杂，对训练样本规模要求极高。针对目前学生行为识别缺少大量标记样本的现状。

发明内容

本发明的目的在于提供一种学生课堂行为识别系统、方法、介质及终端设备，有效的提高了课堂观察效率；有效的辅助教师进行课堂评估，从而帮助教师及时改进教育方法。

本发明通过下述技术方案实现：

一种学生课堂行为识别方法，具体包括以下步骤：

步骤S1：图像获取与分类，并构建数据集；

步骤S2：将数据集按照比例分为训练集、验证集和测试集，并对图像进行预处理；

步骤S3：通过数据扩容的方式扩大训练集；

步骤S4：使用在ImageNet数据集上训练好的ResNet50网络结构作为预训练模型对数据扩容后的训练集进行训练，根据验证集的验证结果对网络参数进行微调，训练得到的分类模型用于后期学生图像行为识别；

步骤S5：利用训练好的分类模型对测试集进行测试，观察图像分类情况与实际情况之间的差异，得到模型的分类效果，保存分类结果。

进一步地，为了更好的实现本发明，所述步骤S1具体是指：将所述学生课堂行为视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像并构建数据集，N为大于1的整数。

进一步地，为了更好的实现本发明，所述步骤S2中的对图像进行预处理包括以下步骤：

步骤S21：利用Yolo v3检测算法获取图像中学生的位置信息；

步骤S22：根据学生的位置信息利用Opencv裁剪学生图像，并将图像统一缩放。

进一步地，为了更好的实现本发明，所述步骤S21具体包括以下步骤：

步骤S211：将训练集中的图像输送到Yolo v3检测框架中，Yolo v3检测框架将图像分割为S*S个网格，每个网格负责该网格区域内的物体检测，且输出该网格的目标物体类别；