[发明专利]一种融入注意力的残差网络表情识别方法

权利要求书

1.一种融入注意力的残差网络表情识别方法，其特征在于，包括将特征图输入到卷积块注意力模块中进行处理和将卷积块注意力模块融入到残差学习网络中进行训练；

所述的将特征图输入到卷积块注意力模块中进行处理包括：

S1获取特征图，通过通道注意力模块处理该特征图，获得通道注意力权重系数；所述通道注意力模块中具有第一拼接融合器，用于将池化处理后的特征图在进行权重训练之前进行拼接融合处理；

S2将所述特征图与所述通道注意力权重系数相乘，获得通道维度关键信息特征图；

S3通过空间注意力模块处理该通道维度关键信息特征图，获得空间注意力权重系数；

S4将所述空间注意力权重系数与通道维度关键信息特征图相乘，获得空间位置关键信息特征图；

所述的将卷积块注意力模块融入到残差学习网络中进行训练包括：

S5将卷积块注意力模块与残差学习网络中的特征提取层进行融合，分别构建下采样卷积模块和残差注意力模块，通过该下采样卷积模块和残差注意力模块训练所述卷积块注意力模块，获得特征图表情识别结果；

构建所述下采样卷积模块的过程包括：

S51将所述卷积块注意力模块的输出依次通过残差学习网络中的三个卷积层进行卷积操作；

S52对所述特征图通过一个卷积层进行卷积操作；

S53将S51和S52的处理结果进行加和运算，再进行一次Relu函数处理；

构建所述残差注意力模块的过程包括：

S54将所述卷积块注意力模块的输出依次通过残差学习网络中的三个卷积层进行卷积操作；

S55将S54的处理结果结合所述特征图进行加和运算，再进行一次Relu函数处理；

所述的通过该下采样卷积模块和残差注意力模块训练所述卷积块注意力模块，获得特征图表情识别结果包括：

基于该下采样卷积模块和残差注意力模块训练所述卷积块注意力模块建立残差注意力调和网络模型；该残差注意力调和网络模型由一个卷积层、一个最大池化层、3个所述下采样卷积模块、13个所述残差注意力模块、一个平均池化层和一个全连接层构成；

将待处理的表情图像输入到该残差注意力调和网络模型中进行处理，再通过Softmax分类器进行分类识别，获得所述特征图表情识别结果。

2.根据权利要求1所述的方法，其特征在于，步骤S1具体包括：

S11将特征图分别通过第一全局平均池化层和第一最大池化层进行压缩，获得第一池化特征和第二池化特征；

S12将该第一池化特征和第二池化特征通过所述第一拼接融合器进行拼接融合，获得第一融合特征；

S13将该第一融合特征通过多层感知机进行降维升维处理，再通过Sigmoid函数进行激活处理，获得所述通道注意力权重系数。

3.根据权利要求2所述的方法，其特征在于，步骤S13中，所述的通过多层感知机进行降维升维处理包括：

将所述第一融合特征输入第一FC层，通过Y₀＝W₀×X进行降维处理，获得降维后的第一融合特征Y₀；式中，X为所述第一融合特征，W₀为第一FC层的权重；

将该降维后的第一融合特征Y₀输入第二FC层，通过Y₁＝W₁×Y₀进行升维处理，获得输出特征Y₁。

4.根据权利要求3所述的方法，其特征在于，所述通道注意力模块的处理过程包括N_C(A)＝σ(MLP([MaxPool(A)；AvgPool(A)])；

式中，[MaxPool(A)；AvgPool(A)]为所述融合特征，N_C(A)为所述通道注意力权重系数。

5.根据权利要求4所述的方法，其特征在于，步骤S2包括：

S21通过获得所述通道维度关键信息特征图；A为输入到通道注意力模块的特征图，A′为通道维度关键信息特征图。