[发明专利]基于信息复用注意力机制的人脸表情识别方法

说明书

本发明公开了一种基于信息复用注意力机制的表情识别方法。本发明提出一种新的注意力模块，该注意力模块通过信息复用减少了生成注意图过程中信息的损耗，使得生成的注意图蕴含更多的有用信息，以帮助提取到更加有效的表情特征。对于提出的信息复用注意力模块，首先，将当前卷积层输出的特征图和前一层卷积层输出的特征图在通道方向上进行连接；然后将连接后的特征图输入到另一个卷积层中，输出和当前卷积层特征图尺寸一样的注意图；最后将注意图和当前卷积层的特征图进行逐元素乘并输入到Sigmoid函数中，输出的结果就是经过注意图修饰的特征图。本发明通过实验证明了该方法的有效性，相较其他先进的复杂条件表情识别方法有较大提升。

技术领域

本发明属于人脸表情识别技术领域，具体涉及一种基于信息复用注意力机制的人脸表情识别方法。

背景技术

面部表情是人类表达情感、互相交流的重要方式之一。表情识别是人机交互中机器理解人们情绪的重要方式，在教育、医疗、安全等领域都有重要的应用价值。近年来，理想条件下的表情识别取得了很大的进展，其识别效果已接近完美，如在CK+数据集上的准确率已经超过了98％。而实际场景中的人脸往往受到遮挡、多姿态以及光照的影响，这导致复杂条件的表情与理想条件的表情有较大的域差异，从而使得理想条件表情识别方法在实际应用中的效果会严重下降。即，实际应用中的复杂条件使表情识别技术面临着巨大挑战。

发明内容

针对复杂条件下表情识别的挑战，本发明提供了一种基于信息复用注意力机制的表情识别方法。该方法利用注意力机制，自适应地关注对表情识别有益的人脸区域，而忽略对表情识别无用甚至有害的人脸区域。该方法提出一种新的注意力模块，该注意力模块通过信息复用减少了生成注意图过程中信息的损耗，使得生成的注意图蕴含更多的有用信息，以帮助提取到更加有效的表情特征。对于提出的信息复用注意力模块，首先，将当前卷积层输出的特征图和前一层卷积层输出的特征图在通道方向上进行连接；然后将连接后的特征图输入到另一个卷积层中，输出和当前卷积层特征图尺寸一样的注意图；最后将注意图和当前卷积层的特征图进行逐元素乘并输入到Sigmoid函数中，输出的结果就是经过注意图修饰的特征图。

本发明所采用的技术方案是：一种基于信息复用注意力机制的人脸表情识别方法，总体框架图见附图1，其具体实现包括以下步骤：

步骤1，数据预处理阶段，获得输入图像x^′；

步骤2，模型构建阶段，构建信息复用注意力模型，包括以下子步骤：

步骤2.1，构建主干深度卷积神经网络，所述主干深度卷积神经网络包括输入层、卷积层、最大池化层、多个Block、平均池化层、全连接层和softmax分类器，其中每个Block中包含多个卷积层；

步骤2.2，构建信息复用注意力模块，并与主干深度卷积神经网络相结合，主干深度卷积神经网络中有多个Block，每个Block中结合了信息复用注意力模块，称之为信息复用注意块IRAB；

步骤3，模型训练阶段，将输入图像输入到信息复用注意力模型进行训练；

步骤4，识别阶段，利用训练好的信息复用注意力模型进行人脸表情识别。

进一步的，步骤1的具体实现包括如下子步骤；

步骤1.1，人脸检测、人脸裁剪和缩放；利用人脸检测算法检测出人脸部分，将人脸部分从原始图像中裁剪出来，并缩放成同样的尺寸，最终得到表情数据集其中i表示图像的序号，e表示图片所属的表情类别；

步骤1.2，数据增强；采用随机裁剪、左右随机翻转的方法进行数据增强，对于一张特定的表情图像x，其中x∈X，经过数据增强后得到图像x^′，即为输入图像。