[发明专利]一种基于时空图卷积神经网络的动态表情识别方法及系统

说明书

本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测，得到关键点的归一化坐标和编号；提取关键点的局部纹理特征向量，并与其归一化坐标进行拼接，组合成关键点的局部融合特征向量；然后连接同帧间的关键点形成空域边，连接相邻帧相同编号的关键点形成时域边，利用这些边和关键点构成一种时空拓扑图；接着，构建一种时空图卷积神经网络，用生成的时空拓扑图对其进行训练；最后将基于新的表情序列生成的时空拓扑图作为输入，利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息，可以克服光照、肤色、姿态变化的影响，提升表情识别的准确率和鲁棒性。

技术领域

本发明涉及一种基于时空图卷积神经网络的动态表情识别方法及系统，属于图像处理与模式识别领域。

背景技术

随着计算机在人们的日常生活中变得越来越重要，人机交互也将成为科技发展的必然趋势。为了提高人机交互体验，计算机需要具有识别人类情感的能力。而早在1986年，心理学家Mehrabian的科学研究就表明，在日常生活中，人脸表情是情感传递中的重要载体，可以传递最为丰富的信息，超过通过语言和声音所传递信息量的总和。因此表情识别是人机交互中必不可少的一环，通过提取人类表情信息来判断人类的情感状态，从而满足人类的情感需求。

随着人脸表情识别技术的不断丰富，人脸表情识别已成为计算机视觉和模式识别领域中的研究热点。针对于如何有效地提取动态表情序列的时间和空间信息问题，目前的主流方法大多采用卷积神经网络(CNN)提取每帧图像表情的空间信息，再利用长短期记忆网络(LSTM)提取动态表情序列的时间信息；或者直接利用三维卷积神经网络(3D-CNN)在空间维度和时间维度对输入序列同时进行卷积，提取的特征不仅包含图像内的信息，也包含图像间的信息。这些方法通常使用原始图像作为输入，通过监督训练学习与表情识别任务相关的特征。然而原始图像富含了太多的与表情识别无关的干扰信息，比如年龄、性别、光照等信息，从原始图像到最终用于表情分类的低维特征向量，相当于有监督的挖掘有用信息的降维过程，而这一过程往往比较复杂，需要训练大量的参数。而由人脸关键点构成的面部轮廓，相对整张图像而言是一种更高层次的表达，而且不同的个体在不同表情状态下面部轮廓的变化有着相同的特征模式，因此利用人脸关键点训练后的模型对肤色、光照、姿态的变化具有一定的鲁棒性，此外关键点的数量明显少于整张图像的像素数量，能够得到更为简单的模型。

随着近年来的发展，图卷积神经网络已经可以很好的处理具有图结构的数据，比如社交网络关系、通信网络、分子结构等，它可以将这些数据映射到低维向量上，而这些数据是传统卷积神经网络(CNN)无法处理的，所以可以利用图卷积神经网络处理基于人脸关键点生成的时空拓扑图，学习更高层次的特征，实现动态表情的分类。

中国专利申请“一种基于图卷积神经网络的人脸表情识别方法”(专利申请号201910091261.1，公开号CN110008819 A)将人脸表情灰度图中的每个像素点作为图的节点，按照一定的规则构建拓扑图，然后输入到构建的图卷积神经网络模型中，得到表情的分类结果。该方法使用图像中的每个像素点构建的拓扑图过于复杂，不利于相距较远的节点间进行信息的融合；此外该方法只适用于图像，无法应用于视频序列，实现动态表情序列的分类。

中国专利申请“一种基于人脸特征点数据增强的动态表情识别方法”(专利申请号202010776415.3，公开号CN111931630 A)通过将动态表情序列的初始帧、峰值帧以及根据人脸关键点构建的轨迹图分别输入到卷积神经网络中，得到人脸动态表情的识别结果。该方法问题在于轨迹图是根据人脸的关键点手工设计的特征，特征提取过程较为繁琐，且复杂度较高，影响了该模型的实时性。

发明内容

发明目的：针对现有的表情识别方法无法有效利用人脸关键点信息的缺点，本发明提出了一种基于时空图卷积神经网络的动态表情识别方法及系统，可以充分利用人脸关键点的位置信息，能够克服光照、肤色、姿态变化的影响，从而有效提升动态表情识别的准确率和鲁棒性。