[发明专利]一种基于联合损失多特征融合的人脸表情识别方法

说明书

本申请涉及一种基于联合损失多特征融合的人脸表情识别方法，包括：人脸检测，获取人脸图像；将人脸图像通过改进的ResNet网络和VGG网络分别提取特征；提取的特征通过全连接层进行降维；采用加权融合的方法融合特征；送入Softmax层进行分类，输出人脸表情类别。本方法采用两种神经网络架构进行特征提取，充分融合提取到的特征。在训练过程中使用了余弦损失与交叉熵损失加权联合的损失函数，联合后的损失函数可以实现对相同类别之间紧密结合以及不同类别之间较大分离的功能。

技术领域

本发明涉及一种人脸表情识别方法，属于图像识别领域。

背景技术

人脸表情识别是计算机视觉领域的研究热点之一，其应用领域也十分广泛的。包括有人机交互、安全驾驶、智能监护、辅助驾驶、案件侦测等。当前的人脸表情识别算法主要是基于传统方法和基于深度学习方法。传统的人脸特征提取算法主要有主成分分析(Principal ComponentAnalysis,PCA)、尺度不变特征变换(Scale-Invariant FeatureTransformation,SIFT)、局部二值模式(Local Binary Patterns,LBP)、Gabor小波变换以及方向梯度直方图(Histogram Of Gradient,HOG)等，随着研究的深入和人工智能技术的发展，深度学习方法在图像识别领域大放异彩，深度神经网络(Deep neural network,DNN)被应用于表情识别并取得了较好的成绩。

然而目前的表情识别方法易受到图片噪声和人为干扰因素的影响造成识别率欠佳，而且单通道的神经网络从图像全局出发，容易忽略图像局部特征，造成特征的缺失，单网络模型提取特征单一是导致识别率较低的原因之一。

发明内容

本发明要解决的技术问题是人脸表情识别过程中单一卷积神经网络特征损失的问题，提出了一种基于联合损失多特征融合的人脸表情识别方法。

为了达到上述目的，本发明采用的技术方案是：

S1、对待识别的图像进行人脸检测，获取人脸区域；

S2、对获取的人脸图像通过改进后的ResNet网络进行特征提取；

S3、对获取的人脸图像通过VGG网络进行特征提取；

S4、将步骤S2和步骤S3获取的特征送入全连接层进行降维；

S5、将步骤S4中降维后的特征利用加权融合的方式融合成新的特征；

S6、将步骤S5中的新特征送入全连接层进行再降维，然后利用Softmax层对其进行类别预测，输出类别信息。

进一步的，所述步骤S1中人脸检测获取人脸区域采用MSSD网络模型，其具体方法包括：

S11、以SSD目标检测网络为基础，将原基础网络VGG-16改为轻量化网络MobileNet。

S12、将步骤S11网络中的第7个深度可分离卷积层(浅层特征)与最后5层(深层特征) 的特征图进行融合，将这六层的特征图分别重新调整为一维向量，再进行串联融合，实现多尺度人脸检测。

S13、目标检测网络由基础网络进行特征提取，元结构进行分类回归和边界框回归。

进一步的，所述步骤S2中对获取的人脸图像通过改进后的ResNet网络进行特征提取的具体方法是：对ResNet网络中的残差块进行改进，增加卷积操作，减少参数量，对网络层数进行修改并引入预激活方法。所述步骤S2包括：