[发明专利]一种具有准确注意力的自然遮挡表情识别方法及系统

说明书

本发明提供了一种具有准确注意力的自然遮挡表情识别方法及系统，获取待识别图像，对图像进行预处理；利用预训练的自然遮挡表情识别网络对预处理后的待识别图像进行处理，得到表情识别结果；所述自然遮挡表情识别网络的构建及训练过程包括对于已知表情的预处理后的遮挡表情图像，进行人脸关键点检测，在关键点中筛选多个兴趣点，基于各兴趣点生成高斯图，得到对应图像的遮挡指示图；依据遮挡表情图像的深度特征的神经元激活值计算注意力描述子，通过构建注意力损失来迫使深度特征的注意力描述子接近遮挡指示图，通过构建表情分类损失来迫使深度特征的注意力适应于不同的表情。本发明的识别准确率高。

技术领域

本发明属于表情识别技术领域，具体涉及一种具有准确注意力的自然遮挡表情识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，由于人脸表情识别在情感计算、行为预测、人机交互、心理健康服务等众多应用中发挥着重要作用，其研究受到广泛关注，取得了很大的成功。在现实世界中识别表情时，人脸被遮挡的情况是很常见的，如太阳镜遮挡、围巾遮挡之类的面部配件遮挡或其他随机物体遮挡，如手遮挡、头发遮挡和杯子遮挡。现有的表情识别方法对于理想的无遮挡面部表情的识别效果良好，但推广到自然遮挡条件下时，表情识别准确率大大降低。因此，有针对性地研究真实遮挡条件下的人脸表情识别问题是很有必要的。

遮挡人脸表情的识别是一个具有挑战性的问题，因为面部遮挡物会使原有表情图像丢失一部分表情信息，甚至会对表情识别产生误导。最近，已经提出了一些方法来应对这个挑战，这些方法主要可以分为四类：遮挡图像补足法、无遮挡图像提供特权信息法、关注无遮挡区域法和特征重建法。

遮挡图像补足法利用深度生成模型重建人脸图像。有的研究使用像素级生成模型作为深度置信网络(DBN)的最底层。DBN可以从遮挡的人脸重建完整的人脸，然后根据完整的人脸预测表情类别。有的研究基于WGAN模型构造一个生成器和两个鉴别器，利用重建损失、三重损失和对抗性损失，实现了遮挡人脸图像的补足。然而，由于遮挡的位置和类型太多，这些方法不能很好地重建人脸图像。

无遮挡图像比遮挡图像为表情识别提供了更多的信息，因此无遮挡图像可以用来辅助遮挡面部表情分类器的学习。有的研究将三重损失与知识蒸馏相结合，从训练在无遮挡人脸上的教师网络提取特权信息到训练在遮挡人脸上的学生网络。有的研究引入和遮挡人脸图像配对的无遮挡人脸图像，无遮挡人脸图像作为特权信息来从标签空间和特征空间上指导遮挡分类器的学习过程，以帮助遮挡分类器学习更健壮的特征表示并做出更好的预测。然而此类方法需要成对的遮挡图像 -无遮挡图像，只适用于合成遮挡人脸表情数据集，而不适用于真实遮挡人脸表情识别。

遮挡物会干扰表情分类，通过使表情分类网络关注无遮挡区域，可以排除遮挡的干扰。有的研究将人脸划分成不同的区块，并使用区域门控单元预测相应区块的遮挡可能性，然后通过学习的权重来调整特征；有的研究提出了区域注意力网络，利用自注意力模块和关系注意力模块来调整面部区域的重要性，以减轻遮挡等问题。然而，上述方法的无障碍分数和加权权重等是在没有任何遮挡信息的情况下学习的，可能是有偏差的，网络难以准确定位未遮挡的面部区域。有的研究提出了一个遮挡自适应深度网络。全局特征由基于面部标志点的24张注意力图调节，以引导模型聚焦在重要的未遮挡的面部区域上并过滤掉遮挡区域。然而，该方法是非端到端的，注意力图是由遮挡的位置所唯一确定的，不受表情标签的监督，对表情并不是自适应的。

特征重建方法使用一种检测算法来找到遮挡区域，从而可以对遮挡区域进行重建。有的研究提出了一种鲁棒的方法，利用蒙特·卡罗方法从图库图像中提取一组基于Gabor的部分人脸模板，并将这些模板转换为模板匹配距离特征。有的研究利用RPCA重建遮挡的人脸区域，并提取人口普查变换直方图特征。然后应用K-近邻和支持向量机进行分类。但是，这些方法泛化能力不强。