[发明专利]一种基于多区域卷积神经网络的人脸表情识别方法

说明书

本发明公开了一种基于多区域卷积神经网络的人脸表情识别方法，涉及计算机视觉领域，本发明的技术方案包括1)人脸表情数据集的预处理，通过裁剪得到人脸表情图像的局部特征信息；2)设计注意力卷积神经网络，分别提取人脸表情图像的局部信息特征和全局信息特征；3)划定各局部区域和全局区域的损失权重，得到各局部区域和全局区域的损失期望以反向传播实现注意力卷积神经网络的学习；4)使用大规模人脸表情数据集训练注意力卷积神经网络，得到人脸表情识别模型。可以同时提取局部特征和全局特征，并降低遮挡区域的对人脸表情识别的影响力权重，提高面部存在局部遮挡的人脸表情识别的精确度。

技术领域

本发明涉及一种基于多区域卷积神经网络的人脸表情识别方法，主要涉及计算机视觉领域。

背景技术

面部遮挡问题在自然世界场景下经常出现，往往是由眼镜、帽子、围巾等造成。面部局部遮挡可以根据是否是真实物体造成的遮挡分为两类：一种是人为造成的遮挡，另一种是现实生活中的遮挡。目前，为克服面部局部遮挡对人脸面部表情识别算法精确度的影响，现今的方法大致可分为两类：一类是忽略面部局部遮挡的存在，使用正则化的策略减轻面部局部遮挡的影响。另一类是使用对抗生成方法利用面部存在遮挡的人脸表情图像生成无面部遮挡的人脸表情图像。第三类的方法利用人脸表情图像的局部特征和全局特征实现人脸表情识别。

发明内容

针对以上现有技术的不足，本发明提出一种基于多区域卷积神经网络的人脸表情识别方法，可以解决自然环境下人脸表情图像存在局部遮挡的问题。该方法通过复用面部区域，并提高未遮挡部位的权重，降低遮挡部位的权重。该方法能够提升面部存在遮挡时的人脸表情识别精确率。

为达到上述目的，本发明的技术方案是：包括：

1)人脸表情数据集的预处理，通过裁剪得到人脸表情图像的局部特征信息；

2)设计注意力卷积神经网络，分别提取人脸表情图像的局部信息特征和全局信息特征；

3)划定各局部区域和全局区域的损失权重，得到各局部区域和全局区域的损失期望以反向传播实现注意力卷积神经网络的学习；

4)使用大规模人脸表情数据集训练注意力卷积神经网络，得到人脸表情识别模型；

5)使用得到的人脸表情识别模型对待分类的人脸表情进行分类，分类成生气、高兴、伤心、惊讶、厌恶、恐惧和中性的一种。

优选地，数据预处理部分是将野生数据集的人脸表情图像经过人脸检测，并只保留人脸图像部分；

人脸检测采用的是Dlib库的人脸检测算法；

再使用68个人脸地标点68faciallandmarks进行人脸对齐任务；就此得到只保留人脸的对齐人脸表情图像；

利用68个人脸地标点68faciallandmark裁剪出人脸中具有显著性表情特征的区域。

优选地，使用68个地标点中的第18，20，22，23，25，27，37，38，40，42，28，31，43，44，46，48，49，51，53，55，58个地标点作为依据裁剪出具有显著表情特征的人脸局部区域；

优选地，本发明将从人脸面部表情图像裁剪出左眼区域、鼻翼区域、嘴唇区域、眉心区域，并且将局部人脸图像缩放成尺寸为242*242。

注意力卷积神经网络利用Re_sNet-18作为骨干网络，将注意力机制模块嵌入ResNet-18的每一个BasicBlock中；

注意力机制模块利用卷积神经网络生成的特征图以生成注意力图；

再利用注意力图在卷积神经网络生成的特征图重生成对人脸表情识别具有显著性影响的特征图。