[发明专利]基于信息复用注意力机制的人脸表情识别方法

权利要求书

1.一种基于信息复用注意力机制的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1，数据预处理阶段，获得输入图像x′；

步骤2，模型构建阶段，构建信息复用注意力模型，包括以下子步骤：

步骤2.1，构建主干深度卷积神经网络，所述主干深度卷积神经网络包括输入层、卷积层、最大池化层、多个Block、平均池化层、全连接层和softmax分类器，其中每个Block中包含多个卷积层；

步骤2.2，构建信息复用注意力模块，并与主干深度卷积神经网络相结合，主干深度卷积神经网络中有多个Block，每个Block中结合了信息复用注意力模块，称之为信息复用注意块IRAB；

步骤3，模型训练阶段，将输入图像输入到信息复用注意力模型进行训练；

步骤4，识别阶段，利用训练好的信息复用注意力模型进行人脸表情识别。

2.如权利要求1所述的一种基于信息复用注意力机制的人脸表情识别方法，其特征在于：步骤1的具体实现包括如下子步骤；

步骤1.1，人脸检测、人脸裁剪和缩放；利用人脸检测算法检测出人脸部分，将人脸部分从原始图像中裁剪出来，并缩放成同样的尺寸，最终得到表情数据集其中i表示图像的序号，e表示图片所属的表情类别；

步骤1.2，数据增强；采用随机裁剪、左右随机翻转的方法进行数据增强，对于一张特定的表情图像x，其中x∈X，经过数据增强后得到图像x′，即为输入图像。

3.如权利要求2所述的一种基于信息复用注意力机制的人脸表情识别方法，其特征在于：步骤1.1中采用的人脸检测算法是MTCNN，人脸缩放后的尺寸为112×112，表情类别e的取值为{0，1，2,3，4,5，6}，分别代表：生气，厌恶，恐惧，开心，伤心，惊讶和中性。

4.如权利要求2所述的一种基于信息复用注意力机制的人脸表情识别方法，其特征在于：所述主干深度卷积神经网络的第一个卷积层conv1中的卷积核大小为3×3，步长stride为1，填充padding为1。

5.如权利要求1所述的一种基于信息复用注意力机制的人脸表情识别方法，其特征在于：所述主干深度卷积神经网络是对Resnet18进行调整后得到的，包括对输入图像调整到一定尺寸、修改第一个卷积层的卷积核大小，修改全连接层的类别数。

6.如权利要求1所述的一种基于信息复用注意力机制的人脸表情识别方法，其特征在于：步骤2.2中，单个信息复用注意块IRAB的具体处理过程如下：

(1)一个IRAB中包含顺序串联的4个卷积层，即主干深度卷积神经网络的每个Block中包括4个卷积层，前两个卷积层组成BasicBlock1，后两个卷积层组成BasicBlock2；

(2)对于BasicBlock1的两个卷积层，按先后顺序分别称作cov1和cov2，它们所输出的特征图分别为F_pre和F_cur；

(3)将F_pre和F_cur在通道方向上进行连接，得到F_cat；将F_cat输入到卷积层convw中，将convw输出的特征图经过Sigmoid函数处理，得到注意图M；

F_cat＝[F_pre∶F_cur]

M＝σ(f(F_cat))＝σ(f([F_pre∶F_cur]))

其中，f表示卷积层，σ代表Sigmoid函数；

(4)将得到的注意图M与当前层的特征图F_cur进行逐元素相乘，得到被注意图修饰过的特征图F′；

其中表示逐元素乘法运算；

(5)将BasicBlock1输出的特征图F′作为BasicBlock2的输入，BasicBlock2以与BasicBlock1一样的方式处理。