[发明专利]一种基于表情识别的风险学生预测方法

权利要求书

1.一种基于表情识别的风险学生预测方法，其特征在于，包括以下步骤：

1)将输入的学生人脸图像转为张量，将这些张量按比例分为训练集和测试集；

2)训练基于表情识别风险学生的学习模型，构造分为消极表情和非消极表情的二维高斯软标签，将训练集张量输入基于标签分布的学习模型，以预测标签分布和真实标签分布之间的差异最小化为目标训练学习模型；

3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别，将识别的结果存储到学生情绪库；

4)根据学生的表情识别的结果分析学生的情绪状态，判断该学生是否为风险学生。

2.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，步骤1)中将输入的人脸图像转为张量，具体如下，输入的人脸图像依次经过随机切割、镜像转换以及几何归一化操作，转为张量。

3.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，步骤1)中将输入的人脸图像转为张量为将人脸图像按照固定的尺寸进行随机分割，在图片的右上角，左上角，中心，左下角和右下角进行切割，并做镜像转换，图像数据扩大10倍，然后将这些图像数据进行几何归一化，转为张量tensor。

4.根据权利要求1所述的基于表情识别的风险学生预测方法，其特征在于，所述学习模型包括：

主干网络结构，包括13个由卷积层、BatchNorm层和ReLu层组成的卷积模块，每一个卷积模块后面连接一个平均池化层，在第二、第四、第七、第十和第十三个平均池化层后分别连接一个最大池化层，最后连接一个全连接层；

主干网络结构的输入为张量图像，主干网络结构的输出维度为12的特征向量；

向量相似度计算模块，用于将给定两张面部表情图像(Img1,Img2)的维度为12的特征向量进行余弦相似度计算cos(Img1,Img2),以此代表表情图像之间的相似度，其中，Img1和Img2分别为消极表情和非消极表情图像；

标签分布模块，用于以消极表情和非消极表情为X和Y轴，将表情相似度作为Z轴，将消极表情和非消极表情相似度按中心螺旋排序分布到三维坐标系中，服从高斯分布；

所述基本表情包括：开心:Ha，惊讶:Su，中性:Ne，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An，其中开心:Ha，惊讶:Su，中性:Ne为非消极表情，悲伤:Sa，害怕:Fe，厌恶:Di，生气:An为消极表情；

标签学习模块，利用二维高斯分布来学习表情中消极情绪和非消极情绪的分布；

消极情绪和非消极情绪的高斯分布：

g(Img1,Img2)＝[1/(2*pi*o’²)]*exp(-(Img1²+Img2²)/(2*o’²⁾)，

其中，表示Img1为消极表情的语义特征，Img2为非消极表情的语义特征，g(Img1,Img2)表示消极表情与非消极表情之间的高斯分布计算；

用KL-Loss计算损失

其中，D_i是真实标签分布，是预测的标签分布，j为样本空间中的第j个样本。

5.根据权利要求4所述的基于表情识别的风险学生预测方法，其特征在于，所述训练学习模型的过程如下：

步骤2.1)将训练集train_data按8:2比例分为真实训练集true_train_data和验证集vail_data；

步骤2.2)选择Adam优化器，利用KL散度作为损失函数，衡量学习获得的标签和真实标签分布的相似程度；

步骤2.3)进行循环训练，将数据输入学习模型中前向传播，计算损失，然后反向传播，不断更新模型参数；

步骤2.4)利用验证集选择模型的超参数。