[发明专利]一种课堂环境下多视角教学表情识别方法及系统

权利要求书

1.一种课堂环境下多视角教学表情识别方法，其特征在于，包括步骤：

S1，采集用户表情的多视角图像序列，所述多视角图像序列包括多类视角的图像序列；

S2，将所述多视角图像序列输入到表情识别模型，以获得用户表情识别结果；所述表情识别模型包括自相似矩阵提取模块、特征提取器、时间注意力网络、融合拼接模块和分类网络；所述自相似矩阵提取模块用于从所述多视角图像序列中分别提取每类视角的自相似矩阵；所述特征提取器用于根据每类视角的自相似矩阵获得每类视角的第一类特征向量；所述时间注意力网络用于根据每类视角的自相似矩阵获得每类视角的第二类特征向量；所述融合拼接模块用于将两类特征向量进行融合拼接后输入到所述分类网络。

2.如权利要求1所述的一种课堂环境下多视角教学表情识别方法，其特征在于，在所述S2之前，还包括步骤：对所述多视角图像序列进行预处理，所述预处理包括：

将所述多视角图像序列的图像转化为PIL图像，然后将PIL图像的尺寸调整为224×224像素，再将PIL图像转换成张量图像，用平均值和标准偏差归一化张量图像。

3.如权利要求1所述的一种课堂环境下多视角教学表情识别方法，其特征在于，在所述S2之后，还包括步骤：

S3，获取预设时间段内的用户表情识别结果总数和表情变化的次数，计算用户课堂表情变化的频率，并且绘制用户情感变化折线图。

4.如权利要求1所述的一种多视角教学表情识别方法，其特征在于，所述多视角图像序列包括三类，分别是：左侧视角图像序列、正面视角的图像序列、和右侧视角图像序列。

5.如权利要求4所述的一种多视角教学表情识别方法，其特征在于，所述多视角图像序列为长波红外图像序列，所述左侧视角图像序列包括同属于左侧视角的多个角度的多个图像序列，所述右侧视角图像序列包括同属于右侧视角的多个角度的多个图像序列。

6.如权利要求4所述的一种多视角教学表情识别方法，其特征在于，所述S2包括子步骤：

分别提取所述左侧视角图像序列的第一自相似矩阵、所述正面视角图像序列的第二自相似矩阵、和所述右侧视角图像序列的第三自相似矩阵；

将所述第一自相似矩阵、所述第二自相似矩阵和所述第三自相似矩阵分别输入到所述特征提取器，分别获得第一特征向量、第二特征向量和第三特征向量；

将所述第一自相似矩阵、所述第二自相似矩阵和所述第三自相似矩阵分别输入到所述时间注意力网络，分别获得第四特征向量、第五特征向量和第六特征向量；

计算所述第一特征向量、所述第四特征向量的张量积，获得左侧视角融合特征向量，计算所述第二特征向量、所述第五特征向量的张量积，获得正面视角融合特征向量，计算所述第三特征向量、所述第六特征向量的张量积，获得右侧视角融合特征向量；

将所述左侧视角融合特征向量、所述正面视角融合特征向量、所述右侧视角融合特征向量进行拼接后输入到分类网络，获得用户表情识别结果。

7.如权利要求1所述的一种多视角教学表情识别方法，其特征在于，所述特征提取器为3D特征提取器。

8.如权利要求7所述的一种多视角教学表情识别方法，其特征在于，所述3D特征提取器包括两个卷积模块，两个卷积模块之间由3D平均池化层连接，每个卷积模块包括依次连接的一个3D卷积层、一个Rule层、两个3D卷积层、一个Rule层、一个3D最大池化层、两个3D卷积层、一个3D最大池化层。

9.如权利要求1所述的一种多视角教学表情识别方法，其特征在于，所述时间注意力网络包括依次连接的1个全连接层、一个Rule层、一个全连接层、一个Rule层、一个全连接层、一个sigmoid层和一个重复层。

10.一种课堂环境下多视角教学表情识别系统，其特征在于，包括：

数据采集模块，用于采集用户表情的多视角图像序列，所述多视角图像序列包括多类视角的图像序列；

输出模块，用于将所述多视角图像序列输入到表情识别模型，以获得用户表情识别结果；所述表情识别模型包括自相似矩阵提取模块、特征提取器、时间注意力网络、融合拼接模块和分类网络；所述自相似矩阵提取模块用于从所述多视角图像序列中分别提取每类视角的自相似矩阵；所述特征提取器用于获得每类视角的第一类特征向量；所述时间注意力网络用于获得每类视角的第二类特征向量；所述融合拼接模块用于将两类特征向量进行融合拼接后输入到所述分类网络。