[发明专利]一种基于表情识别的风险学生预测方法

说明书

本发明公开了一种基于表情识别的风险学生预测方法，该方法包括以下步骤：1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，利用预测标签和真实标签之间的KL‑loss来训练学习模型；3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生。本发明设计了新的学习模型并将表情分为积极表情和消极表情利用二维标签来进行表情识别，提升了识别准确性，可有效预测风险学生。

技术领域

本发明涉及计算机视觉技术，尤其涉及一种基于表情识别的风险学生预测方法。

背景技术

近年来，随着社会竞争的加大学生的压力也逐渐加重，学生群体中出现学习的问题也越来越多，学习问题的增多引发学生的学习风险。当前针对学生学习问题而引发的学习风险还未找到行之有效的方法。随着深度学习的发展，人脸表情识别可以为学生风险预测提供有效帮助。人脸表情是人类表达内心情感和意图最普遍的信号之一，有研究表明在表达情感和态度时，面部表情所能传达的信息高达93％，将人脸表情识别用于风险学生检测中可以真实可靠的反映学生状态。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于表情识别的风险学生预测方法。

本发明解决其技术问题所采用的技术方案是：一种基于表情识别的风险学生预测方法，包括以下步骤：

1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；

2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，以预测标签分布和真实标签分布之间的差异最小化为目标训练学习模型；

所述基于表情识别风险学生的学习模型是基于卷积神经网络模型表征的N2N(Negative and Non-negative Network)识别模型；

3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；

4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生。

按上述方案，步骤1)中将输入的人脸图像转为张量，具体如下，将人脸图像按照固定的尺寸进行随机分割，在图片的右上角，左上角，中心，左下角，右下角进行切割，并做镜像转换，图像数据扩大10倍，然后将这些图像数据进行几何归一化，转为张量tensor。

按上述方案，所述学习模型包括：

主干网络结构，包括13个由卷积层、BatchNorm层和ReLu层组成的卷积模块，每一个卷积模块后面连接一个平均池化层，在第二、第四、第七、第十和第十三个平均池化层后分别连接一个最大池化层，最后连接一个全连接层；

主干网络结构的输入为张量图像，主干网络结构的输出维度为12的特征向量；

向量相似度计算模块，用于将给定两张面部表情图像(Img1,Img2)的维度为12的特征向量进行余弦相似度计算cos(Img1,Img2),以此代表表情图像之间的相似度，其中，Img1和Img2分别为消极表情和非消极表情图像；

标签分布模块，用于以消极表情和非消极表情为X和Y轴，将表情相似度作为Z轴，将消极表情和非消极表情相似度按中心螺旋排序分布到三维坐标系中，服从高斯分布；

所述基本表情包括：开心:Ha，惊讶:Su，中性:Ne，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An，其中开心:Ha，惊讶:Su，中性:Ne为非消极表情，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An为消极表情；