[发明专利]基于表情识别的课堂中学生实时分类与遴选方法

说明书

本发明涉及一种基于表情识别的课堂中学生实时分类与遴选方法，属于计算机学科下的计算机视觉领域。实现步骤为：获取含有标签的人脸表情数据集，设计表情识别模型，使用人脸表情数据集训练和验证表情识别模型；为课堂中每名学生建立表情向量循环队列，根据设定的间隔时间G，每隔G秒获取头部区域图片并进行表情识别，将识别获得的表情向量保存至表情向量循环队列中；当教师提问或课堂交流时，对每名学生读取其最近一段时间内的表情向量，拼接成表情组合向量；对所有学生的表情组合向量进行聚类，计算每类别的表情组合均值向量；对每一类别，基于各学生的表情组合向量与该类别的表情组合均值向量的相似度，遴选具有代表性的学生。

技术领域

本发明属于计算机学科下的计算机视觉领域，具体涉及一种基于课堂听课状态的学生的实时分类与遴选方法。

背景技术

课堂中的学生听课状态与学生的听课效果有重要关系，也是课堂中教师提问或其他交流的重要参考依据。根据课堂中的学生听课过程中一段时间内的表情变化，对学生进行分类，并在每类中遴选最具代表性的学生，能够在教师提问或课堂交流时提供实时遴选结果，并为教师快速了解课堂授课效果提供技术支持。

在课堂中，提问学生或课堂交流是教师了解学生对课堂知识掌握情况的重要方式之一。由于教师无法记忆课堂中每个学生连续的状态信息，在提问或交流时，往往只能根据学生在某个时刻下的状态进行选择学生，使得这样的选择方式具有一定的局限性，不能很好的反应整体学生的学习情况。

随着计算机视觉的发展，表情识别被广泛应用。利用表情识别技术记录学生在课堂中一段时间内的连续状态，并进行学生的分类与遴选，能更好的评价学生的课堂学习效果，为教师选择提问或交流的学生提供更好的参照，同时能够实现监督课堂提升课堂授课效率的作用。但在目前计算机视觉的研究成果中，通过表情识别对学生进行分类，并遴选提问或交流的学生的研究较少。

发明内容

有鉴于此，本发明提供了一种基于表情识别的课堂中学生实时分类与遴选方法。实现本发明的技术方案如下：

步骤一、建立表情识别模型；具体建立步骤为：

步骤1.1、获取含有标签的人脸表情数据集，并将数据集分为训练集和验证集，训练集和验证集分割比例有8∶2或9∶1两种选择；

步骤1.2、设计表情识别模型，表情识别模型分为输入流、中间流和输出流，表情识别模型的结构如表1所示；

输入流的设计：共包含这3层卷积层，首先使用1*1的卷积核激活明显特征，然后使用两层3*3的卷积核提取特征；

中间流的设计：共设计了4层混合层，每一混合层的卷积核个数不同，利用了深度可分离卷积-池化模块和残差模块分开提取特征，两个模块处理的特征进行融合输入下一层；

输出流的设计：包含一个卷积层、一个全局池化层和一个Softmax层，卷积层使用7个3*3的卷积核提取特征，全局池化层对提取的特征进行降维，降维后的特征输入Softmax层进行表情识别，Sotfmax层的函数如公式1所示；

其中p(j|g)表示输入图片g是表情种类j的概率；e是自然对数函数的底数；d表示表情类别总数；Z_j表示全局池化后的特征；

表1表情识别模型的结构

步骤1.3、使用训练集训练表情识别模型；

使用Adam优化算法更新表情识别模型的权重和偏置，训练使用的损失函数如公式2所示，当损失函数的值趋于稳定时停止训练，保存表情识别模型；