[发明专利]一种基于注意力机制的人脸表情识别方法

说明书

本发明涉及一种基于注意力机制的人脸表情识别方法，包括：收集数据集，对数据集进行预处理；对于每幅二维人脸图像，标注人脸特征关键点；对图像进行关键位置裁剪，并将裁剪的图片缩放；将得到的图片，以及整张人脸表情图片输入到神经网络中，进行局部特征与全局特征识别和获取；对得到的特征经过特征融合，经分类器输出人脸表情类别；重复以上步骤直到网络参数收敛，而后输入待判别人脸图像，即可得到该人脸图像的表情分类。本发明通过引入注意力机制，捕获局部人脸区域的细粒度特征及全局特征，从而有效的降低遮挡和姿态变化等对人脸表情的影响，有效的提高了人脸表情分类效果。

技术领域

本发明实施例涉及人脸表情识别领域，具体涉及一种基于注意力机制的人脸表情识别方法。

背景技术

面部表情是人类表达情感最有效、最自然的方式之一。识别面部表情对于帮助计算机理解人类行为并与之互动也很重要。近年来，人脸表情识别因其在人机交互、机器人制造、心理治疗等领域的广泛应用而受到越来越多的关注。虽然在构建鲁棒的人脸表情分类器方面已经取得了很大的进展，但对于来自然条件下的人脸表情识别仍然是一个非常具有挑战性的问题。这是由于遮挡和姿态变化会显著改变人脸的外观，从而使人脸表情识别准确率下降。

发明内容

针对上述问题，本发明提出一种基于注意力机制的人脸表情识别方法，设计了一种新的注意力机制，引导与强化卷积神经网络去关注特征图有用的信息而抑制其他非关键的信息，针对性地处理各个通道上的信息，提高网络识别效果。

本发明实施例主要提供如下技术方案：

步骤1：从网络上获取公开数据集或从真实环境中采集数据集，对数据集进行预处理。

步骤2：对于每幅二维人脸图像，标注了81个人脸特征关键点，关键点位置包括了眼睛，眉毛，鼻子，嘴角，以及完整的人脸轮廓。

步骤3：对图像进行关键位置裁剪，包括眼睛，眉毛，鼻子，嘴角，脸颊等对表情具有突出贡献的位置，并将裁剪的图像缩放成相应尺寸。

步骤4：将步骤3中得到的图像，以及整张人脸表情图像输入到设计好的带有注意力机制的深度神经网络中，进行局部特征与全局特征识别和获取。

步骤5：对步骤4中得到的特征经过特征融合，经分类器输出人脸表情类别。

步骤6：重复以上步骤2到步骤5直到本发明实施例中网络参数收敛，而后再向本发明实施例中网络输入待判别人脸图像，即可得到该人脸图像的表情分类。

在所述步骤4中，局部特征与全局特征获取和识别过程包括以下步骤：

步骤4.1人脸图像中的眼睛、鼻子、嘴巴和脸颊等局部关键位置被送入局部特征提取模块以生成基于局部人脸区域的细粒度特征表示。

步骤4.2：注意力模块以步骤4.1中得到的局部表情特征为输入，输出每个特征的重要性权重。具体地，注意力模块由线性全连接(FC)层和Sigmoid激活函数组成，可以表示为，

其中α_i是第i个样本的重要权重，W_a是线性全连接层用于计算注意力的参数，σ是Sigmoid函数。

步骤4.3：设F∈R^C×H×W(F经过VGG16的前13个卷积层进行特征提取)表示一幅图像的面部特征，位置注意力模块以F为输入，输出每个高维特征的重要性权重。

具体地，为了更好的捕获局部特征，建立局部特征的相关性，我们引入了位置注意力模块，从而增强其表征能力。接下来，我们详细阐述了捕获相互关联的局部特征过程。