[发明专利]一种课堂环境下多视角教学表情识别方法及系统

说明书

本发明公开了一种课堂环境下多视角教学表情识别方法及系统。该方法包括步骤：获取教室内教师上课时长波红外多视角表情图像序列；分别对上述长波红外多视角表情图像序列进行预处理；分别将预处理后上述长波红外多视角表情图像输入到训练好的表情识别模型，获取教师上课时的表情结果；根据课堂中教师的教学表情变化，确定教师的教学情感状态，统计整节课所述的教学情感状态，从而为课堂教学评价智能化提供服务。本发明可以提高课堂环境下教师表情识别的准确性，进而可以用于分析教师的课堂情绪和情感，促进课堂评价的精细化和个性化。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种课堂环境下多视角教学表情识别方法及系统。

背景技术

教师的教学情感状态是衡量教师课堂积极性的一种重要手段，可为课堂教学评价智能化提供更智能的服务。面部表情是人类表达内心情感和意图最普遍的信号之一，教师的面部表情是教师教学情感状态的有效表现形式。将面部表情识别技术应用于教师的教学状态检测，从一定程度上保证了评价的公平性和准确性。面部表情识别的难点在于：①面部图像不清晰，受其他因素(光照，拍摄角度等)影响图像像素低；②面部图像表情具有极大的不确定性；③相同表情之间的差异性，不同表情之间相似性极大地影响了模型的识别性能等。

传统的表情识别方法大多是基于2D图像的卷积神经网络模型。该模型方法的基本流程为：①通过图片直接输入2D卷积处理，通过不断训练来优化卷积内的参数；②通过卷积层后，进入最大池化层和全局归一化层；③得出最后的表情识别结果，计算预测值与真实值的损失，进行反向传播。

但是，该类传统方法的局限性主要体现在两方面。首先，图像是直接输入卷积模块的，破坏了图像内部信息，不能准确捕获图像的浅层信息。其次，学习环境的光照变化，光照过强或过弱，都会导致面部细节的丢失，有时还会产生阴影，影响识别结果。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种课堂环境下多视角教学表情识别方法及系统，可以提高课堂环境下教师表情识别的准确性。

为实现上述目的，按照本发明的第一方面，提供了一种课堂环境下多视角教学表情识别方法，包括步骤：

S1，采集用户表情的多视角图像序列，所述多视角图像序列包括多类视角的图像序列；

S2，将所述多视角图像序列输入到表情识别模型，以获得用户表情识别结果；所述表情识别模型包括自相似矩阵提取模块、特征提取器、时间注意力网络、融合拼接模块和分类网络；所述自相似矩阵提取模块用于从所述多视角图像序列中分别提取每类视角的自相似矩阵；所述特征提取器用于根据每类视角的自相似矩阵获得每类视角的第一类特征向量；所述时间注意力网络用于根据每类视角的自相似矩阵获得每类视角的第二类特征向量；所述融合拼接模块用于将两类特征向量进行融合拼接后输入到所述分类网络。

优选地，在所述S2之前，还包括步骤：对所述多视角图像序列进行预处理，所述预处理包括：

将所述多视角图像序列的图像转化为PIL图像，然后将PIL图像的尺寸调整为224×224像素，再将PIL图像转换成张量图像，用平均值和标准偏差归一化张量图像。

优选地，在所述S2之后，还包括步骤：

S3，获取预设时间段内的用户表情识别结果总数和表情变化的次数，计算用户课堂表情变化的频率，并且绘制用户情感变化折线图。

优选地，所述多视角图像序列包括三类，分别是：左侧视角图像序列、正面视角的图像序列、和右侧视角图像序列。

优选地，所述多视角图像序列为长波红外图像序列，所述左侧视角图像序列包括同属于左侧视角的多个角度的多个图像序列，所述右侧视角图像序列包括同属于右侧视角的多个角度的多个图像序列。

优选地，所述S2包括子步骤：