[发明专利]基于时空注意力网络的在线学习参与度评估方法及评估系统、设备、存储介质

权利要求书

1.一种基于时空注意力网络的在线学习参与度评估方法，其特征在于，该方法包括步骤：

(1)对待评估的在线学习的视频片段进行预处理；

(2)特征提取：提取经过预处理后视频片段t*的头部姿态特征块G_t和面部表情特征块E_t；

(3)特征变换：将头部姿态特征块G_t分解成头部姿态特征集合表示在第t个头部姿态特征块i位置上从通道1到通道D₁上的值构成的特征，K₁表示头部姿态特征块中每个通道的边长，t∈{1,…,T}，T表示视频片段的个数；D₁表示头部姿态特征块中通道的个数；该头部姿态特征的维度与头部姿态特征块的通道数相同，均为D₁；

同理，将面部表情特征块E_t分解成面部表情特征集合表示在第t个面部表情特征块j位置上从通道1到通道D₂上的值构成的特征，K₂表示面部表情特征块中每个通道的边长，t∈{1,…,T}；D₂表示面部表情特征块中通道的个数；该面部表情特征的维度与面部表情特征块的通道数相同，均为D₂；

(4)将t时刻提取得到的面部表情特征集合头部姿态特征集合及t-1时刻的隐藏状态输入到双模态空间注意力模块中，最后双模态空间注意力模块的输出M_t，双模态空间注意力模块用于融合表情特征和头部姿态特征并对特征中不同位置基于注意力模块进行加权；

(5)将M_t输入到两层Bi-LSTM模型，得到隐藏状态

(6)将隐藏状态输入到时间注意力模块，得到隐藏状态的权重β_t；

(7)将步骤(6)时间注意力模块得到的隐藏状态的权重β_t和步骤(5)得到的隐藏状态输入到训练好的双向自适应长短期记忆网络Bi-aLSTM模型中，Bi-aLSTM是在Bi-LSTM模型的基础上，构建了一个自适应模块，能够基于获取的权重信息，自动调整Bi-LSTM模型的输入；即Bi-aLSTM模型根据当前时刻的权值β_t调整输入的隐藏状态Bi-aLSTM模型输出隐藏状态隐藏状态经过激活函数tanh得到学习参与度评估结果Y_T，Y_T是整数，Y_T取值范围0到3，从0至3参与度依次增加，0表示完全不参与，1表示低程度的参与，2表示一般程度的参与，3表示高程度的参与。

2.根据权利要求1所述的一种基于时空注意力网络的在线学习参与度评估方法，其特征在于，Bi-aLSTM模型的训练过程为：

a、构建数据集，具体包括：

a-1、获取训练视频；

a-2、确定视频的标注指标，标注指标包括头部姿态、眼球注视点和面部表情；

a-3、对视频进行标注；

b、将数据集中的视频片段进行预处理；

c、特征提取：提取经过预处理后视频片段t*的头部姿态特征块G_t和面部表情特征块E_t；

d、特征变换：将头部姿态特征块G_t分解成头部姿态特征集合将面部表情特征块E_t分解成面部表情特征集合

e、将t时刻提取得到的面部表情特征集合头部姿态特征集合及t-1时刻的隐藏状态输入到双模态空间注意力模块中，最后双模态空间注意力模块的输出M_t；

f、将M_t输入到两层Bi-LSTM模型，得到隐藏状态

g、将隐藏状态输入到时间注意力模块，得到隐藏状态的权重β_t；

h、将步骤g时间注意力模块得到的隐藏状态的权重β_t和步骤f得到的隐藏状态输入到Bi-aLSTM模型中；

i、通过训练确定Bi-aLSTM模型中细胞状态C以及隐藏状态H的维度，以及输入特征序列的最大长度T。