[发明专利]一种基于半监督学习的学生表情预测方法

说明书

本发明涉及一种基于半监督学习的学生表情预测方法，属于教学技术领域，包括数据采集与初始化、一级网络模块构建、二级网络模块构建、以及预测新样本共四个主要步骤。已有的技术中缺少考虑两个问题：1、需要大量的人工标注工作，而人工标注不仅费时且昂贵；2、某些类别的样本可能非常少，因此需要考虑类别不均衡问题。与已有的技术方案相比，本发明具有流程简单、易于执行、占用资源少等优点、特别是无需大量人工标注、且能够准确地识别较少出现的表情。

技术领域

本发明属于教学技术领域，特别是涉及一种基于半监督学习的学生表情预测方法。

背景技术

在课堂教学中，老师可以根据学生的表情以了解学生对当前所讲内容的理解程度。例如，当大部分学生的表情为愉悦时，老师对于该部分内容可以加快讲解速度，反之需要重复多次讲解。在专利CN201610453639.4中提出了一种MOOC课程中学生面部表情的动态识别方法，该方法对MOOC课程中拍摄的视频进行分帧，对分帧得到的图像提取特征点，并抽取关键部位特征点组成特征向量后，训练表情模式分类器，利用表情模式分类器对MOOC课程中拍摄的实时视频中学生面部表情进行表情模式的分类。专利CN201711071886.9中提出了一种基于面部识别捕捉的在线课堂提问解答系统，包括教师客户端、网络传输服务器、中央控制器、学生客户端、表情分析模块、正常表情数据库、分类模块以及统计模块，教师能够实时了解到学生的学习状态，为学生及时做出解答，让学生更快的掌握学习要点，提高学生学习的积极性和效率，降低了教师的工作强度，具有很好的推广和使用价值。专利CN201910712839.0提出一种基于深度学习的学生表情识别的方法及系统，通过获取视频序列中的第一学生的人脸信息视频帧；对所述的第一学生的人脸信息进行特征提取，并构建表情识别模型；基于所述特征对人脸信息进行第一识别；当所述第一识别结果超过预设的阈值时则发出提示信息。

已有的技术中，缺少考虑两个问题：1、为数据打标签是一项非常繁重且昂贵的工作，因此将该问题描述为一般的监督学习是不合适的；2、某些类别的样本可能非常少，因此需要考虑类别不均衡问题。

发明内容

针对上述问题，本发明提出了一种基于半监督学习的学生表情预测方法，其过程如下：

步骤1、数据采集与初始化：

收集学生脸部图像，对每幅图像提取特征，得到样本集合对进行标记，得到对应的类别标签其中，为d维行向量，c_k对应一种表情，表示实数域，n为所有样本数量，为有标注样本数，u＝n-l未标注样本数，d为样本维度，d，l，n，u均为正整数；

初始化：人工设定以下参数：λ，C_A，C_B＞0，一级隐藏节点数量L_A，二级隐藏节点数量L_A，L_A与L_B均为正整数；构造图拉普拉斯矩阵L＝D-A，A为相似性矩阵，其第i行第j列元素A_ij为：

其中，x_i与x_j为样本，i，j∈{1，...，n}，σ＞0为高斯核宽，D为A的度矩阵，D为对角阵，D的第i个对角元素D_ii＝∑_jA_ij；

步骤2、一级网络模块构建：

步骤201、随机产生L_A个一级输入权重与L_A个一级输入偏置得到与

步骤202、生成一级隐藏层输入矩阵其中

G(W，b，x)为激活函数，x表示样本，W为输入权重，b为输入偏置；