[发明专利]一种基于改进的CNN人脸表情识别方法

说明书

本发明请求保护一种基于改进的CNN的人脸表情识别方法，涉及图像分类与识别领域，包括步骤：S1，使用一个集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；S2，对步骤S1获得的人脸表情图像，使用人脸矫正在真实环境下的人脸姿态，并去除与表情信息无关的背景信息以及采用采用尺度归一化；S3，在对步骤S2获得的归一化的人脸表情图像进行特征之前，对卷积神经网络模型进行训练，得到最佳的网络参数并保存；S4，对步骤S3获得最佳网络参数，加载CNN模型以及S3得到的最佳的网络参数，并对S2获得的归一化的人脸表情图像进行特征提取；S5，对步骤S4获得的人脸表情特征，使用SVM分类器进行分类识别。本发明具有较强的鲁棒性以及良好的泛化性能。

技术领域

本发明属于图像处理与模式识别领域，特别是一种方法基于改进的CNN的人脸表情识别方法。

背景技术

人脸面部表情是表达情感和信息的主要非语言沟通方式之一，并且占据了55％的信息。由此可见人脸表情作为一种信息载体，在人们的日常交流中所占有重要意义。Ekman等人确定了六种人脸表情(即愤怒，厌恶，恐惧，幸福，悲伤和惊喜)作为人类普遍的基本情感表达。人脸表情识别已成为计算机视觉领域多年的研究的热点。其中人脸表情识别系统具有广泛的应用，如人机交互、发展心理学、生物学、医学、信息无障碍以及智慧城市等领域具有广泛的应用场景和重要的研究意义。

传统的人脸表情识别由两个主要的组成部分:人脸表情的特征提取和人脸表情的分类。其中从人脸表情图像中提取有效的特征在整个识别系统中发挥重要的作用，因为人脸表情分类器是基于提取特征的组合进行最后的分类决策。在获取人脸表情数据之后，再对数据进行特征提取。其中比较常见的人工特征算法如局部二值模式(Local binarypattern,LBP)、尺度不变特征变换(Scale-invariant feature transform,SIFT)、HOG、Gabor小波变换等已经得到广泛的应用。然后把提取到的特征数据传递到诸如支持向量机等分类器，进行最后的识别工作。然而这些方法通常需要严格的超参数设置，才能获得良好的识别效果，并且是在受控和实验室环境下。最重要的是人工特征提取方法具有不确定性，进而导致部分表情特征表述信息的丢失，其直接结果识别性能不理想。

近年来，随着计算机性能的提高，深度神经网络在图像识别领域越来越受到欢迎。在人脸表情识别领域，深层的卷积神经网络获得了良好的结果。相比于传统的特征提取算法，深度卷积神经网络具有自适应特征提取能力，进而得到的人脸表情特征更加接近于本质的特征，同时也具有更强的表征能力。卷积神经网络(CNN)由Lecun等人在1998年提出的,当使用更深层次的架构和新的训练技术时，证明在学习特征方面非常有效。然而训练性能优异的人脸表情识别深度卷积神经网络模型，需要大量的人脸表情样本以及合适的深度卷积神经网络结构。现有的人脸表情数据库如CK+、日本女性面部表情(JAFFE)数据库等，采集的面部表情图像样本在理想环境下采集的数据并且原始数量比较少，训练模型更容易达到过拟合。所以目前基于CK+人脸表情数据库训练的深度卷积神经网络模型，虽然获得测试结果有比较高的准确率(95％)并不意味着能够胜任在真实环境下的人脸表情识别任务。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可在真实的复杂背景噪声的环境下提高识别率，对光照和复杂噪声具有较强的鲁棒性，以及较强泛化性能的基于改进的CNN人脸表情识别方法。本发明的技术方案如下：

一种基于改进的CNN人脸表情识别方法，其包括以下步骤：

S1、采用集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；

S2、对步骤S1获得的人脸表情图像，采用图像预处理的算法对采样的图像进行包括人脸姿态的矫正、去除表情无关的背景信息、直方图均衡、尺度归一化在内的预处理；