[发明专利]一种基于图卷积神经网络的人脸情绪识别方法

说明书

本发明涉及一种基于图卷积神经网络的人脸情绪识别方法。本发明在图像数据库中，利用非人脸区域的图卷积神经网络提取背景图，并将把图片的欧式结构转换成图结构，通过提取图结构中节点和边的空间特征信息分析背景中人物的情绪状态进行人脸情绪分类，最终极大地提高了人脸情绪识别率；对于视频序列的数据，图卷积神经网络不仅对于空间域上的特征信息提取也有所提高，而且对于视频序列中的背景变化信息进行了推理，从而极大地提高了人脸情绪识别率。

技术领域

本发明属于表情识别领域，具体涉及一种基于图卷积神经网络的人脸情绪识别方法。

背景技术

人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及合成动画等领域有很大的潜在应用价值。

人脸表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。(但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。)

传统的解决方案是通过定义人类的6种基本表情,建立面部动作编码系统(FacialAction Coding System，FACS)，按照系统划分的一系列人脸动作单元(Action Unit，AU)来描述人脸面部动作，通过人脸运动和表情的关系，进而检测人脸面部细微表情。Yingli等人通过分析图像序列的固定人脸特征(眉毛、眼睛和嘴巴等)以及瞬时人脸特征(皱纹的深浅等)中的细微动态变化，从而根据FACS和AUs的方法自动识别出人脸表情^[1]。但是，以上方法对不同人脸部分的权重设定是人为的，这种方法缺少了缺乏对权重设定的统计支持。Lin等人为了更深层的挖掘出脸部肌肉中的情感信息以及利用AU提取出脸部表情中区别最大的区域，分别提取了不同表情中人脸特征上相似的图块与相异的图块，然后通过SupportVector Machine(SVM)进行人脸表情分类^[2]。虽然，以上的方法都取得了一定的成果，但是，它们都只能局限于正面无遮挡的人脸表情，对复杂环境中的人脸情绪识别表现不佳。

为了提高情绪识别算法的应用能力，近年来，学术界开始利用深度学习的方法解决更加复杂环境下的人脸表情。目前基于深度学习的表情识别有以下较具代表性的方法：Fan等人提出基于卷积神经网络(CNN：Convolutional Neural Network)改进的深层监督卷积神经网络(DSN：Deeply Supervised CNN)^[3]，从不同的卷积层中提取多层次和多尺度的特征信息，从而整个网络更加深层更加充分的学习了环境复杂变化的图片中人脸表情信息。Li等人将注意力机制(Attention mechanism)^[4]加入卷积神经网络中，使得图片人脸部分遮挡情况下，将网络的权重集中在最突出且无遮挡的人脸部分，该算法不论人脸是否遮挡都识别良好。Lee等人发现识别人脸情绪过程中^[5]，人物当下的相处环境以及人物的肢体动作都可以帮助卷积神经网络更好的识别人物表情。该卷积网络中有两条网络分支组成：一条是处理从图片或视频序列中提取的人脸信息；另一条网络处理将人脸遮挡住的图片或视频序列，并且利用注意力机制提取出环境或者肢体动作特征信息。

虽然相关研究已经取得了较好的人脸表情识别效果，但有些时候由于图片或视频内容中背景多变、人脸姿态多样，使得数据特征提取困难，人脸表情识别率不够理想。

发明内容

本发明的目的在于克服现有技术的缺点和不足，提供一种基于图卷积神经网络的人脸情绪识别方法，利用图卷积网络的技术将图片或者视频序列中的人脸与环境信息充分提取分析，显著提高了复杂环境中人脸表情识别的准确率。