[发明专利]一种基于多区域卷积神经网络的人脸表情识别方法

权利要求书

1.一种基于多区域卷积神经网络的人脸表情识别方法，其特征在于，包括：

1)人脸表情数据集的预处理，通过裁剪得到人脸表情图像的局部特征信息；

2)设计注意力卷积神经网络，分别提取人脸表情图像的局部信息特征和全局信息特征；

3)划定各局部区域和全局区域的损失权重，得到各局部区域和全局区域的损失期望以反向传播实现注意力卷积神经网络的学习；

4)使用大规模人脸表情数据集训练注意力卷积神经网络，得到人脸表情识别模型；

5)使用得到的人脸表情识别模型对待分类的人脸表情进行分类，分类成生气、高兴、伤心、惊讶、厌恶、恐惧和中性的一种。

2.根据权利要求1所述的一种基于多区域卷积神经网络的人脸表情识别方法，其特征在于：

数据预处理部分是将野生数据集的人脸表情图像经过人脸检测，并只保留人脸图像部分；

人脸检测采用的是Dlib库的人脸检测算法；

再使用68个人脸地标点68faciallandmarks进行人脸对齐任务；就此得到只保留人脸的对齐人脸表情图像；

利用68个人脸地标点68faciallandmark裁剪出人脸中具有显著性表情特征的区域。

3.根据权利要求2所述的一种基于多区域卷积神经网络的人脸表情识别方法，其特征在于：

使用68个地标点中的第18，20，22，23，25，27，37，38，40，42，28，31，43，44，46，48，49，51，53，55，58个地标点作为依据裁剪出具有显著表情特征的人脸局部区域。

4.根据权利要求3所述的一种基于多区域卷积神经网络的人脸表情识别方法，其特征在于：

本发明将从人脸面部表情图像裁剪出左眼区域、鼻翼区域、嘴唇区域、眉心区域，并且将局部人脸图像缩放成尺寸为242*242。

注意力卷积神经网络利用ResNet-18作为骨干网络，将注意力机制模块嵌入ResNet-18的每一个BasicBlock中；

注意力机制模块利用卷积神经网络生成的特征图以生成注意力图；

再利用注意力图在卷积神经网络生成的特征图重生成对人脸表情识别具有显著性影响的特征图。

5.根据权利要求4所述的一种基于多区域卷积神经网络的人脸表情识别方法，其特征在于：特征图是由ResNet-18的BasicBlock生成的；注意力图是由特征图经卷积操作生成；重生成的特征图是由注意力图和F逐元素相乘在经过非线性操作得到的；

F∈R^C×H×W，C、H和W分别为特征图的通道数，高度和宽度。

M＝σ(f(F))

f代表卷积层，σ表示sigmoid函数，M∈R^C×H×W是生成的注意力机制图。F′表示经注意力机制重提取的特征图。

6.根据权利要求1所述的一种基于多区域卷积神经网络的人脸表情识别方法，其特征在于：

单个子网络的损失函数如下：

此处的x⁽ⁱ⁾代表第i个样本特征，从Softmax层前的最后一层隐藏层得到；m为训练集的样本数，k为训练集类别的类别数；定义第i个样本数据的预测标签为y⁽ⁱ⁾；

此处α_n代表第n个子网络的权重，即通过该公式得到各子网络的损失期望。