[发明专利]一种基于教师非言语行为的教学过程评价方法

权利要求书

1.一种基于教师非言语行为的教学过程评价方法，其特征在于，包括以下步骤：

1)非言语行为数据采集，获取教学课堂中教师的非言语行为数据，包括：情绪、身势和生理信号三种模态数据；所述情绪模态数据为教师的面部表情图像和该面部表情下对应的手势动作图片；所述身势模态数据为教师的头部转向姿态图片；所述生理信号为教师的脑电数据；

2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；

2.1)数据预处理；包括噪声数据、冗余数据和缺失值的处理；

2.2)对教师教学非言语行为进行表征量化；

2.2.1)教师面部表情和手势动作的特征表示，将情绪模态数据输入LeNet-5神经网络对面部表情图像和手势动作进行特征提取，最后一层输出的特征作为情绪特征向量；

2.2.2)提取教师头部转向姿态图像，将教师的头部转向姿态图片作为输入，并利用EfficientNet网络进行特征的提取；

2.2.3)将采集的多通道的脑电信号分成多个段，从每段信号中采用用于表情标签构造的Student-t分布函数提取时域、频域和非线性动力学特征，并构造成特征序列；

2.3)根据表征完成后的特征向量形成每位教师实时精准的行为特征矩阵；行为表征矩阵H_ij，i表示教师的编号，j表示三种模态数据的特征表征；

将步骤2.2)中的通过对教师的非言语行为进行表征量化后，得到教师的行为表现向量，包括：面部情绪E＝e₁,e₂,…,e_t、身势B＝b₁,b₂,…,b_t以及生理P＝p₁,p₂,…,p_t，

首先通过多通道注意力机制，针对不同行为向量，学习行为权重W_E、W_B和W_P，并与之向量相乘后输入到帧注意力模型，学习不同行为向量中的帧序列权重；为不同时间序列下的行为状态进行权重分配后，输入到LSTM模型中进行学习，对LSTM模型的输出使用Hadamard乘积进行特征压缩编码，得到最终的行为特征矩阵H_ij＝(E_ij,B_ij,P_ij)；

3)行为特征分类器训练：使用情绪标签训练分类器，得到教师类人格型特征表征、课堂非言语行为特征；

3.1)从情绪指标、身势指标和生理指标构建基于时间递归的神经网络进行矩阵特征分解，得到教师类人格型特征表征和课堂非言语行为特征表征；

使用非负矩阵分解将教师行为特征矩阵H_ij分解为教师类人格型特征表征θ_i*和课堂非言语行为特征β_j*；

以最小为目标函数，计算确定教师类人格型特征向量和课堂非言语行为特征向量其中，上标T表示转置；

其中，N为教师的总数，M为矩阵分解得到的课堂行为隐特征数量，a_i为学习得到的自注意力权重；

3.2)将行为表征矩阵H_ij与学习标签构造成高斯分布的形式，最后使用特征序列与相应的情绪标签来训练基于时间递归的神经网络分类器；

4)根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征和课堂行为特征表征，并将两者的特征向量相乘，得到教师的教学评价表示。

2.根据权利要求1所述的基于教师非言语行为的教学过程评价方法，其特征在于，所述步骤2.2.1)中，LeNet-5神经网络的训练方法如下：

通过余弦相似度公式计算不同教师面部表情、手势动作的相似度；其次，对所计算的教师面部表情、手势动作相似度融合后得到的情绪相似度按照Hump排序算法进行排序，并使用student-t分布函数对排序结果进行拟合，得到每种教学情绪的真实标签分布，经过若干迭代优化后可以得到最优解，即教师面部情绪结果；用于表情标签构造的Student-t分布函数表示为公式(1)，其中Γ(·)表示Gamma函数，v表示自由度；