[发明专利]基于深度学习的动态人脸情绪识别方法

说明书

本发明揭示了一种基于深度学习的动态人脸情绪识别方法，包括如下步骤：S1、获取人脸图像序列；S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征；S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪；S4、使用损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型；本发明着眼于动态人脸情绪的分析，通过采集人脸图像序列进行分析的方式，有效地兼顾到了人类情绪阶段化的特点。同时，本发明通过将VGG卷积神经网络和LSTM循环神经网络相结合的方式完成了对人脸图像序列的处理，显著地提升了情绪识别的准确率。

技术领域

本发明涉及一种计算机信息处理方法，具体涉及一种运用VGG网络和LSTM网络相结合的方法来实现的基于深度学习的动态人脸情绪识别方法，属于人工智能、模式识别领域。

背景技术

近些年来，伴随着人工智能的浪潮，人机交互成为了新阶段的研究热点，而在人机交互领域的诸多研究方向中，关于情感识别的研究引起了研究人员的广泛关注。情绪识别就是指赋予机器识别使用者情感的能力，并在此基础上让机器做出相应的回应，即赋予机器“思考”能力。随着情绪识别技术的持续发展，情绪识别准确率的不断提升，这项技术未来必将在教育、医疗、交通等领域内大放异彩。

虽然情绪识别在卷积神经网络提出后得到了飞速的发展和长足的进步，但是由于其一直局限于对单张图像的识别，所以分类的准确率仍然不尽如人意。造成这一现象的原因主要包括以下几点：

首先，情绪由产生到表现是一个动态的过程，需要一定的时间去完美地呈现出个人情绪并在某一时间点达到峰值，而现有技术中的情绪识别通常只使用单张图片进行识别分析，这样无疑会导致准确率偏低地问题。再者，在过往很多的情绪识别的研究中，研究者或是只使用CNN卷积神经网络处理人脸图像，缺少对表情动态过程的分析；又或是只使用RNN循环神经网络处理人脸图像，虽考虑了时间的因素，但在图像处理方面RNN循环神经网络的处理准确率并不高，因此无论对网络进行怎样的优化，单个网络在情绪识别中发挥的作用依然十分有限。

另外，在现有的研究中，研究者大都采用AlexNet网络，而VGG网络相比基础的AlexNet网络具有更多的卷积层，更深的网络也使得VGG具有比前者更强的表达能力，同时VGG网络具有局部连接和权值共享的特点，具有更快的计算速度。若能够使用VGG网络，辅以时间敏感的LSTM网络，那么肯定能够更加敏感地探测到表情的变化过程，从而使得网络预测的结果具有更高的准确性。

综上所述，如何在现有技术的基础上提出一种运用VGG网络和LSTM网络相结合的方法来实现的动态人脸情绪识别方法，也就成为了本领域内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于深度学习的动态人脸情绪识别方法，其特征在于，包括如下步骤：

S1、获取人脸图像序列；

S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征；

S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪；

S4、使用损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型；

S5、利用所述动态人脸情绪识别模型，实现对人脸情绪的识别。

优选地，所述S1具体包括如下步骤：利用Adaboost算法检测人脸，随后依据时间顺序获取人脸图像序列。

优选地，所述S2具体包括如下步骤：

S21、对图像进行缩放处理以及灰度化处理，并将所有处理后图像进行汇总、形成训练集；

S22、采用VGG卷积神经网络，通过卷积层、池化层、全连接层对所述训练集中的图像进行特征提取；