[发明专利]基于图卷积网络的面部表情识别方法

说明书

本发明公开了一种基于图卷积网络的面部表情识别方法，用于解决由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率以及由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率的问题。本发明的步骤为：(1)生成训练集；(2)构造图卷积网络；(3)训练图卷积网络；(4)对面部表情进行识别。本发明基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组使得本发明在进行面部表情识别时有较高的面部表情分类准确率。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中一种基于图卷积网络的面部表情识别方法。本发明可应用于从人脸图像中识别与该人脸对应的愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性表情信息。

背景技术

面部表情是人类交流和传递情感的信号之一，直观地表达出了人类对外界事物的情绪反馈。面部表情识别因其在图像处理、图像识别领域中的潜在应用而受到广泛关注。传统的卷积神经网络通常使用二维图像的整个对齐人脸作为网络的输入，以学习特征表示。但是这些图像原始像素容易受到各种干扰，从而直接影响到二维图像的表情信息。图卷积网络将卷积运算从规则数据推广到不规则图数据，提取到的图卷积特征具有丰富的几何结构信息。这些图卷积特征可能会促进面部表情识别方法的发展，从而进一步提高面部表情识别的性能。

北方工业大学在其申请的专利文献“基于深度学习的人脸表情识别方法及装置”(申请号：201711067390.4，申请公布号：CN 107729872 A)中公开了一种人脸表情识别方法。该方法首先从输入图像中识别出人脸区域图像，并利用仿射变换方法矫正为相似的正面人脸姿态的人脸区域图像，然后将预处理后的人脸区域图像输入卷积神经网络模型，最后输出人脸表情识别结果。该方法可以达到较高的识别效率，但是，该方法仍然存在的不足之处是，由于遮挡、头部姿态变化对输入图像的不良影响，导致预处理后的人脸区域图像会损失部分图像信息，影响预处理后的人脸区域图像对应的表情识别准确率。

Ling Lo等人在其发表的论文“MER-GCN：Micro-Expression Recognition Basedon Relation Modeling with Graph Convolutional Networks”(IEEE Conference onMultimedia Information Processing and Retrieval，pp 79-84，2020)中提出了一种基于图卷积网络关系建模的微表情识别方法。该方法是第一个结合人脸动作单元和图卷积网络做微表情识别的方法，其中的特征提取网络包括两部分：其一是利用三维卷积网络提取空时特征，其二是将人脸动作单元作为节点来构建图，利用图卷积网络提取图卷积特征，然后通过点乘操作合并两个特征，利用合并后的特征进行微表情的分类。该方法可以达到较好的识别效果，但是，该方法仍然存在的不足之处是，由于从动作单元到表情的映射是通过一个简单的线性层进行的，导致图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，影响表情的分类准确率。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种基于图卷积网络的面部表情识别方法。用于解决由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率以及由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率。

实现本发明目的的思路是，基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，用来解决由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率的问题。搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，用来解决由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率的问题。

本发明实现的具体步骤如下：

(1)生成训练集：