[发明专利]一种基于代价敏感卷积神经网络的人脸表情识别方法

说明书

本发明提出了一种基于代价敏感卷积神经网络的人脸表情识别方法。在考虑人脸表情类别错分带来损失的基础上，将错分引起的代价融入模型训练与参数优化全过程中，在模型训练过程中，考虑不同表情类别的错分所造成的不同影响，并根据错分引起的损失大小自适应地调整模型参数，最大限度地降低表情类型错分而引起的损失。本方法解决了现有基于卷积神经网络的人脸表情识别模型中假定或默认不同表情类别错分代价影响均等的问题，在提高表情识别精度的同时，降低因表情错误分类而引起的损失，具有较强的面部情感识别能力。

技术领域

本发明属于智能人机交互技术领域，涉及一种人脸表情识别方法，具体地说，是指一种采用代价敏感的卷积神经网络训练人脸表情识别模型，并进行人脸表情识别的方法。

背景技术

表情是人类情感在面部的表达方式，包含了诸多人类情感和心理活动信息，表情识别旨在挖掘人类面部隐藏的情感特征并进行情感分类。目前，表情识别已成为互联网及相关行业关注的热点，尤其是交通安全、营销策略、智能人机交互、情感机器人、智能家居等领域。

人脸表情识别主要包含人脸检测、表情特征提取和情感特征分类三个部分，其中，表情特征提取是表情识别的核心，直接影响人脸表情识别的精度。浅层学习算法通过人工方式提取面部情感特征，在一定程度上会损失原有的情感信息，而数据驱动的深度学习算法，通过构建一种深层的非线性网络结构，使其能够自主地从样本数据中学习更具表征能力的面部情感特征，从而提高面部表情识别精度。

卷积神经网络(Convolutional Neural Network，CNN)是一种包含卷积单元的深度学习方法，受脑神经科学研究的启发，旨在模拟视觉神经皮层中的神经元细胞对收到的视觉信息进行分层处理的过程机理，主要通过卷积层、池化层和全连接层获取二维图像在不同层次的特征。卷积神经网络算法具有局部感知、权值共享和子采样等特点，能够获取观测数据对图像平移、缩放和旋转不变的显著特征，已广泛应用于人脸表情识别领域。然而，现有的卷积神经网络算法在进行人脸表情识别过程中，默认或者假设不同表情类型的错分所造成的损失或引起的代价相同。但是在现实应用场景中，不同表情类别因错分而造成的损失代价大不相同，例如，基于表情识别结果的交通安全应用，希望检测到司机“愤怒”或“焦虑”时，提醒其停车休息，以防交通事故发生；“瞌睡”时提醒其注意驾驶；“平静”时提醒其正常驾驶。在这种请况下，将司机的表情状态从“愤怒”错分为“平静”所造成的损失代价，远远大于从“平静”错分为“愤怒”的情况，前者可能引起人员伤亡，后者可能仅浪费一点时间。可见，不同表情的错分代价均等这一假设与事实相悖。实际上，不同表情错分结果的实际应用所造成的代价不同甚至相差很大，忽略表情错分代价将必然降低人脸表情识别模型的实用性。

发明内容

本发明针对已有卷积神经网络算法进行人脸表情识别时，忽略不同表情类别错分而引起的代价问题，提出了一种基于代价敏感卷积神经网络的人脸表情识别方法，在考虑人脸表情类别错分带来损失的基础上，将错分引起的代价融入模型训练与参数优化全过程中，最大限度地降低表情类型错分而引起的损失，提高了模型的实用性。

本发明在累计均方误差的基础上，结合表情类型错分代价矩阵，设计了一种代价敏感的损失函数：

其中，k是指训练样本的个数，n是指输出层神经元的个数，class(i)是指第i个训练样本的标签，Cost_class(i),j是指将第i个训练样本的class(i)类错分为j类的代价，y_ij分别是第i个训练样本对应输出层第j个神经元的预测输出值、实际输出值。

以优化上式所示的损失函数为目标，构建代价敏感卷积神经网络训练策略，并基于该策略训练人脸表情识别模型，包括以下技术内容：

根据不同表情类别错分所带来的影响，设计错分代价矩阵；

构建卷积神经网络模型，确定网络层数和每层的神经元节点个数，并初始化权重矩阵和节点偏置等相关参数；