[发明专利]融合注意力机制与高阶特征表示的面部情感识别方法

权利要求书

1.融合注意力机制与高阶特征表示的面部情感识别方法，其特征在于，具体按照以下步骤实施：

步骤1、采集目标图像，将目标图像划分为训练样本集x_train和测试样本集x_test；

步骤2、读取训练样本集x_train中每个样本图像原始情感标注值，并将训练样本集x_train中每个样本图像送入多任务级联的卷积神经网络MTCNN中，根据人脸检测和5个关键特征点，完成人脸对齐，得到输出图像x_input＝[x₁，x₂，...，x_n]，其中，xn表示第n张输出图像，n表示输出图像的总数，即训练样本集x_train中图像的总数；

步骤3、将预处理后得到的图像x_input输入到残差注意力网络中，然后通过主干分支提取不同感受野的特征M_i，c(x)、掩码分支学习注意力权重T_i，c(x)；最后，将主干分支的输出和掩码分支的输出进行点积运算，得到注意力输出特征图H_i，c(x)；

步骤4、将步骤3中得到的注意力输出特征图H_i，c(x)分别送入基于通道的全局二阶池化网络GSoP和基于空间位置的全局二阶池化网络，基于通道的全局二阶池化网络输出特征图之间的依赖关系Z_trans，基于空间位置的全局二阶池化网络输出特征图中空间位置之间的依赖关系Z_non-local；

步骤5、融合特征图之间的依赖关系Z_trans和特征图中空间位置之间的依赖关系Z_non-local，从而得到输出特征Z_fusion；

步骤6、将步骤5得到的输出特征Z_fusion送入一个两阶段多任务学习网络，并使用一个线性回归器得到情感状态值：Arousal和Valence。

2.根据权利要求1所述的融合注意力机制与高阶特征表示的面部情感识别方法，其特征在于，所述步骤1中，

对于训练样本集x_train，样本图像为n×h×w维的张量z_train＝[(h₁，w₁)，(h₂，w₂)，...，(h_n，w_n)]，其中n表示训练样本集的样本总数目，h和w分别表示每个样本图像的长度和宽度，样本的原始情感标注值为n×2维的向量y_a，v＝[(a₁，v₁)，(a₂，v₂)，...，(a_n，v_n)]，其中(a_n，v_n)分别表示训练样本集x_train中第n个样本图像的Arousal和Valence标签；

对于测试样本集x_test，样本图像为m×h×w维的张量x_test＝[(h₁，w₁)，(h₂w₂)，...，(h_m，w_m)]，其中m表示测试样本集的样本总数目，h和w分别表示每个样本图像的长度和宽度；样本的原始情感标注值为m×2维的向量y_a，v＝[(a₁，v₁)，(a₂，v₂)，...，(a_m，v_m)]，其中(a_m，v_m)分别表示测试样本集x_test中第m个样本图片的Arousal和Valence标签。