[发明专利]一种基于像素和几何混合特征的人脸表情识别方法

说明书

一种基于像素和几何混合特征的人脸表情识别方法，属于模式识别和情感识别领域。本发明实现方法为：读取表情数据集图像，进行人脸检测后裁剪人脸关键区域；设计基于人脸像素的特征提取器，利用带有空间注意力的卷积神经网络进行表情特征提取，其中，空间注意力模型通过自适应评估像素与表情的相关性进行权重分配；进行人脸关键点检测，将关键点按人脸五官区域进行分组，利用不同的LSTM对不同区域的关键点进行局部几何特征提取，局部特征通过注意力模型分配权重获得整体几何特征，能够自适应地强调具有显著特征区域的特征而抑制冗余区域的特征表达；将像素级特征和几何级特征融合获得混合特征，并使用Softmax进行分类，实现面部表情图像的高精度识别。

技术领域

本发明涉及模式识别和情感计算领域，尤其涉及一种基于像素和几何混合特征的人脸表情识别方法。

背景技术

面部表情是人类认知情感状态的重要特征之一，在日常社会交际中传递关键的非语言特征信息。由于表情识别在情感计算、计算机视觉、医学评估和人机交互等多个研究领域中展现出巨大的应用潜力，引起了人们的广泛关注。近年来，随着深度学习的迅猛发展及其在机器视觉领域中的成功应用，大量基于静态表情图像的高精度表情识别方法不断涌现。然而，大多数方法都是在不考虑深层几何特征的情况下直接从图像中提取像素级人脸特征，但是深层几何特征表现为检测到的面部关键点的相对空间几何位置的变化，具有优异的可辨别性。除此之外，面部表情是由面部行为的变化引起的，它与某些区域密切相关，而不是整个面部，冗余的面部特征信息会影响表情识别的性能表现。

发明内容

为了解决上述问题，本发明充分利用面部区域的情感特征，提出了一种基于像素和几何混合特征的人脸表情识别方法。该方法使用卷积神经网络从人脸图像中提取像素级人脸特征，同时利用多个长短期记忆网络(LSTM，Long Short-TermMemory)探索面部关键点之间的相对空间位置关系对表情识别的影响。在处理面部关键点时，本发明首先提出一种深度几何特征描述子，通过深度学习的方法分别对图像中不同面部区域人脸关键点之间的坐标相关性进行深层几何级特征提取；然后在LSTMs中嵌入注意力模型，根据各个面部区域的关键点特征对表情贡献的不同将较大的权重分配给对应的与表情密切相关的局部深层几何级特征，并将重新标定权重中的特征串接为表征表情的整体深层几何人脸特征，从而实现局部-整体的几何特征提取；最后将像素级特征和几何级特征进行融合以获得更具有分辨性的混合情感特征，对其分类获得识别结果。该方法主要包括以下步骤：

步骤1：读取表情数据集图像，进行人脸检测后截取人脸关键区域，去除冗余区域；

步骤2：设计空间注意力模块，利用带有空间注意力模型的卷积神经网络对人脸关键区域进行像素级特征提取，其中，空间注意力模型得到的特征图每个值对应于人脸关键区域像素在空间位置的相对重要性，给予与表情表达相关的空间像素位置较大权重，而不相关的空间像素位置给予较小权重，从而提高与表情相关区域的特征表达，并且抑制无关区域的干扰；

步骤3：对人脸关键区域进行关键点检测，将人脸关键点按人脸五官区域进行分组，划分为多个局部面部区域，利用不同的LSTM分别对相应的局部面部区域内关键点特征进行提取，将每个LSTM提取的关键点特征级联后通过注意力模型，分配各个局部面部区域不同权重，能够自适应的强调具有显著特征区域的特征而抑制冗余区域的特征表达，最后经非线性函数激活后获得全局面部特征，即深层几何级特征；

步骤4：将像素级特征和几何级特征融合获得混合特征，利用交叉熵损失函数进行权值更新并使用Softmax对混合特征进行分类，获得面部表情图像的识别结果。

在所述步骤1中，数据集预处理过程包括以下步骤：

步骤1.1：读取表情数据集图像，对输入图像进行人脸检测获得人脸区域。

步骤1.2：截取人脸区域并归一化为统一尺寸获得人脸特征区域；