[发明专利]一种基于注意力机制的人脸表情识别方法

权利要求书

1.一种基于注意力机制的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1：从网络上获取公开数据集或从真实环境中采集数据集，对数据集进行预处理；

步骤2：对于每幅二维人脸图像，标注了81个人脸特征关键点，关键点位置包括了眼睛、眉毛、鼻子、嘴角、以及完整的人脸轮廓；

步骤3：对图像进行关键位置裁剪，包括眼睛、眉毛、鼻子、嘴角、脸颊等对表情具有突出贡献的位置，并将裁剪的图像缩放成相应尺寸；

步骤4：将步骤3中得到的图像，以及整张人脸表情图片输入到设计好的带有注意力机制的深度神经网络中，进行局部特征与全局特征识别和获取；

步骤5：对步骤4中得到的特征经过特征融合，经分类器输出人脸表情类别；

步骤6：重复以上步骤2到步骤5直到本发明实施例中网络参数收敛，而后再向本发明实施例中网络输入待判别人脸图像，即可得到该人脸图像的表情分类。

2.如权利要求1所述的方法，其特征在于，所述步骤4中局部特征与全局特征获取和识别过程包括以下步骤：

步骤4.1人脸图像中的眼睛、鼻子、嘴巴和脸颊等局部关键位置被送入局部特征提取模块以生成基于局部人脸区域的细粒度特征表示；

步骤4.2：注意力模块以步骤4.1中得到的局部表情特征为输入，输出每个特征的重要性权重，注意力模块由线性全连接(FC)层和Sigmoid激活函数组成，可以表示为：

其中α_i是第i个样本的重要权重，W_a是线性全连接层用于计算注意力的参数，σ是Sigmoid函数；

步骤4.3：设F∈R^C×H×W(F经过VGG16的前13个卷积层进行特征提取)表示一幅图像的全局面部特征，首先将其送入卷积层以分别生成两个新的特征映射Q和K，应用Softmax层来计算空间注意力β∈R^N×N：

这里，以β_ij来衡量位置i对位置j的影响；同时，将特征F送入卷积层生成新的特征图V∈R^C×H×W，带入如下公式得到最终输出Res∈R^C×H×W：

其中η为尺度参数，被初始化为0，并通过网络训练逐步为感兴趣区域分配更多的权重，特征Res是所有位置上的特征和原始特征的加权和。

3.如权利要求1所述的方法，其特征在于，所述步骤5中特征融合过程包括以下步骤：

步骤5.1：对局部特征进行拼接：

F_encm＝[F_e；F_n；F_c；F_m]

其中F_encm为拼接后的特征，F_e、F_n、F_c和F_m分别表示对应于眼睛、鼻子、脸颊和嘴巴的特征；而后，将拼接后的特征F_encm送到全连接层中，进行对该图像所属表情进行预测；

步骤5.2：将局部特征与全局特征在决策阶段进行集成；在决策层面，采取了简单的平均策略，将局部特征，全局特征分别被送到Softmax层；对于Softmax层的输出，由P_local＝[a₁,a₂,...,a_c]表示局部特征的结果，由P_global＝[b₁,b₂,...,b_c]表示全局特征结果；对两个模块的Softmax输出进行平均，以产生融合分数，由该分数确定输入面部表情的类别：

其中i表示相应矢量中分量的索引，β是一个平衡参数，在本实施例中设置为0.5，Output表示面部表情的输出类别；

训练全网络的损失函数定义为：

其中y_i是对应于输入的样本标签。