[发明专利]一种融入注意力的残差网络表情识别方法

说明书

本发明提供的一种融入注意力的残差网络表情识别方法，对原CBAM进行优化改进，在获取通道重要度权重的策略上，采用特征融合训练的方法，提升了模型的拟合能力，增强了关键性通道特征的表示。将改进后的CBAM融入到ResNet模型的残差学习模块中，与特征提取层以先后串行结构融合构建了新的网络模型RARNet，将注意力模块融入到残差结构中，通过残差网络的捷径连接，避免了因网络深度的加深而出现的网络退化的情况。该模型加深了对表情判别性特征的表示，抑制了不必要特征，以小参数量的增加提升了对表情的特征提取性能。改进后的CBAM属于轻量级结构，RARNet以较小参数量的增加在FER2013和CK+数据集上取得了比传统网络模型和其他相关方法更好的识别效果。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种融入注意力的残差网络表情识别方法。

背景技术

人脸表情识别是图像识别领域的研究热点，表情是人类情感表达的一种重要方式，表情识别技术是实现人机交互和人工智能的基础，具有很大研究价值。人脸表情识别方法主要分为人脸检测、特征提取和分类识别三个步骤，特征提取是表情识别过程中重要一环，提取出更好表现表情信息的特征是提升人脸表情识别精度的关键。传统的人工设计的表情特征提取方法，设计复杂，很难提取图像的高阶特征，易受干扰且不稳定。

随着深度学习的发展，基于深度学习的表情特征提取方法被广泛应用。为了适应复杂的应用场景，更多的深度神经网络模型被提出，如AlexNet、VGGNet、GooLeNet、ResNet、DenseNet等，比传统的表情识别方法具有更好的效果。但是随着网络的加深，也会出现梯度不稳定，网络退化和参数量越来越大的问题。研究学者通过改良网络模型和融合其他算法的方式去提升表情识别性能，但取得的效果甚微。

近年来，注意力机制的飞速发展为表情识别的研究提供了新思路，其中，Woo等提出了一个简单但有效的卷积块注意力模块(Convolutional Block Attention Module，CBAM)，给定一个中间特图，通过空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整，加深关键性特征的表示，提升了特征提取能力；又因为CBAM是一个轻量级的通用模块，参数量较小，在不同的分类和检测数据集上，将CBAM集成到不同的模型中后，以较小参数量的增加，模型的表现都有了一定的提升。CBAM机制分为五步。第一步，先将输入特征图经过通道注意力模块提取用以表达通道重要度的通道注意力系数。在通道注意力模块，每一个通道都作为对人脸表情图片的特征提取器，通道注意力作用是择取有意义的特征。为了汇集空间特征，对输入的特征图压缩空间维数，分别采用全局平均池化和最大池化的方式进行压缩，通过全局最大池化弥补全局平均池化丢失的一部分重要特征。将得到的两部分特征图分别放入一个含有一个隐藏层的多层感知机中分别计算，简化计算量，将分别得到的两组特征图融合后作为整个通道注意力模块的输出；第二步，将通道注意力系数与原特征图相乘得到增强了通道重要度的特征图；第三步，将增强了通道重要度的特征图经过空间注意力模块提取用以表达空间重要度的空间注意力系数。在空间注意力模块，主要用来提取特征图内部空间的关系，运算出那一小部分特征需要被重点关注，是对通道注意力模块的补充，在通道轴做池化操作以突显有效特征区域，再经过卷积操作和激活后生成表达空间关键性特征的空间注意力系数；第四步，将空间注意力模块的输入特征与空间注意力系数相乘得到CBAM最后的输出特征。第五步，把CBAM嵌入到残差网络每个block后面，通过该网络对训练集和验证集进行权重的训练和不同标签数据的分类。

发明内容

本发明的实施例提供了一种融入注意力的残差网络表情识别方法，用于解决现有技术中的如下技术问题：

在通道注意力模块的多层感知机中，每个神经元会根据经过的每组特征前后进行参数计算调整，并且容易倾向于后输入的特征。在共享权重的情况下，若将两组特征经过同一MLP中去训练权重的话，会出现顾此失彼的情况；

在网络构建中，将注意力模块置于残差结构后，会使加入的激活函数影响通过捷径连接反向传播的梯度，出现由于网络层冗余使梯度不断减小和退化问题。