[发明专利]基于深度学习带有旋转信息的人脸表情识别方法

说明书

本发明基于深度学习带有旋转信息的人脸表情识别方法，该方法的步骤是：1)确定人脸表情识别的深度卷积神经网络模型与参数；2)将步骤1)中的深度卷积神经网络模型中的第一个卷积层，即数据输入层后面的Conv1层，改为带有角度信息的卷积层，并将带有角度信息的卷积层命名为NConv层；3)通过图像旋转对FER2013人脸表情数据库进行数据扩充，将扩充后的FER2013人脸表情数据库命名为FER2013II数据库，并对FER2013II数据库进行标签处理；4)使用步骤3)得到的FER2013II数据库对步骤2)处理后的深度卷积神经网络模型进行训练和测试，得到修正后的深度卷积神经网络模型；5)将需要进行识别的人脸表情图片经过预处理后，输入到修正后的深度卷积神经网络模型中，输出人脸表情识别结果。

技术领域

本发明属于图像处理技术领域，涉及一种基于深度学习带有旋转信息的人脸表情识别方法。

背景技术

据研究表明，人类通过面部表情表达的信息量占总体信息量的半数之多，是表达人类感情信息的重要途径之一。在人机交互，情感分析以及相关的其它众多领域，面部表情识别都有着重要的研究和应用价值。通过高准确率的面部表情识别系统，可以更及时准确的掌握当事人的情绪变化。在人机交互方面，帮助机器及时调整接下来行为动作，而在情感分析方面，也可以作为分析当事人情绪的指标之一等用途。

在传统的人脸表情识别技术需要手工特征的提取并进行分类，但在分类过程中，能否根据良好特征形成的分类标准是区别人脸表情识别技术好坏的关键点之一。与此同时，传统技术仍存在着鲁棒性差的不足。随着计算机软硬件的发展，深度学习成为近几年的研究热点之一。在语音，图像，文本等众多领域的应用都取得了不错的成绩。基于深度卷积神经网络的人脸表情识别研究有着较大的突破，但也存在一定的问题。目前有关基于深度学习的人脸表情识别方法中，绝大多数人脸表情数据库中的表情样本均为正立的人脸图像，即便是在实验过程中加入有一定角度的图像也是一个较小的变化范围，而在实际应用过程中，由于照相机或者摄影机的摆放位置，拍摄角度不同或者其它意外状况的发生，采集到的人脸图像并非完全是正立的，或带有较大的旋转角度。经研究表明，深度卷积神经网络在图像的旋转不变性方面的能力较弱，仅仅是在深度卷积网络的训练样本中加入旋转后的人脸表情样本，由于目前现有卷积神经网络的卷积方式核心内容即对所有样本按照从左到右再从上到下的顺序进行卷积运算，并不能真正实现对旋转后人脸表情识别率的提升(孙晓,潘汀,任福继.基于ROI-KNN卷积神经网络的面部表情识别[J].自动化学报,2016,42(6):883-891.)，没能改善因图像旋转角度的不同而引起的识别率下降的技术问题。

发明内容

本发明的目的在于克服上述传统深度卷积神经网络在较大旋转角度的人脸表情识别方面的不足，提供一种基于深度学习带有旋转信息的人脸表情识别方法。该方法将图像旋转角度信息与传统卷积神经网络有机结合，在现有的人脸表情识别的卷积神经网络中加入旋转样本的角度信息，改变现有卷积方式，使得原本对所有样本相同的卷积方式变为针对不同旋转角度进行与其相适应的卷积方式，显著提高了深度卷积神经网络在图像旋转不变性方面的能力，从而提高其准确率。本发明中所述的较大旋转角度是指对人脸表情图像进行0°、90°、180°、270°的旋转。

本发明采用的技术方案是，提供一种基于深度学习带有旋转信息的人脸表情识别方法，该方法的步骤是：

1)确定人脸表情识别的深度卷积神经网络模型与参数；

2)将步骤1)中的深度卷积神经网络模型中的第一个卷积层，即数据输入层后面的Conv1层，改为带有角度信息的卷积层，并将带有角度信息的卷积层命名为NConv层；

3)通过图像旋转对FER2013人脸表情数据库进行数据扩充，将扩充后的FER2013人脸表情数据库命名为FER2013II数据库，并对FER2013II数据库进行标签处理；