[发明专利]一种基于差分深度特征的人脸表情识别方法及系统

说明书

本发明提供了一种基于差分深度特征的人脸表情识别方法及系统，属于模式识别技术领域。该方法为：从样本人脸区域帧序列中提取人脸深度特征，依据人脸深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧；将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；将样本图像帧序列的差分深度特征和对应的表情作为训练输入，训练得到表情分类器，利用表情分类器实现表情分类。本发明将差分概念引入深度特征，提出了差分深度特征表示人脸表情，能在最大化保留人脸表情信息的同时，消除个体差异以及环境噪声，所用特征对表情的区分能力强，能够提高表情识别的鲁棒性。

技术领域

本发明属于图像处理和模式识别技术领域，具体涉及一种基于差分深度特征的人脸表情识别方法。

背景技术

人脸表情识别是一个涉及模式识别、图像处理、人工智能等多学科的综合性课题。所谓人脸表情识别，是指让计算机对给定的表情图像进行特征提取，并结合人类已有的先验知识，展开学习、推理、判断，进而理解人类情绪的过程。人脸表情识别在许多领域均有应用价值，包括机器人、人机交互、智能交通、智慧教育、动画制作等，是当前的研究热点。

深度学习是机器学习研究中的一个新领域，源自人工神经网络，其动机在于建立起模拟人脑进行学习分析的神经网络，它模仿人脑机制来解释图像、声音、文本等数据。深度学习通过组合低层特征形成更加抽象的高层特征或属性特征，以学习更有用的特征，从而提高分类或预测的准确性。卷积神经网络(CNN)是深度学习框架的一种。CNN以其局部权值共享的特殊结构在图像处理方面有着独特的优越性。

人脸表情可以划分为六类基本表情，分别为：生气、厌恶、恐惧、高兴、悲伤和惊讶。人脸表情识别主要由以下三个步骤组成：人脸检测、表情特征提取、表情分类。目前在该领域已开展了诸多研究，但依旧存在表情识别鲁棒性低，精度低，易受噪声干扰等问题。

发明内容

针对现有技术存在的问题和改进需求，本发明提供了一种基于差分深度特征的人脸表情识别方法及系统，利用差分深度特征进行表情分类，能有效抑制个体差异、光照条件等引起的干扰，提高识别率。

一种基于差分深度特征的人脸表情识别方法，包括离线训练部分和在线识别部分；

所述离线训练部分包括以下步骤：

(S1)从样本图像帧序列中提取样本人脸区域帧序列；

(S2)从样本人脸区域帧序列中提取人脸深度特征；

(S3)依据人脸深度深度特征从样本人脸区域帧序列中提取中性表情帧和峰值表情帧；

(S4)将样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为差分深度特征；

(S5)将样本图像帧序列的差分深度特征和样本图像帧序列对应的表情作为训练输入，训练得到表情分类器；

所述在线识别部分包括以下步骤：

(T1)从待识别图像序列中提取待识别人脸区域序列；

(T2)从待识别人脸区域序列中提取待识别人脸深度特征；

(T3)依据待识别人脸深度特征从人脸区域序列中提取中性表情帧和峰值表情帧；

(T4)将待识别样本图像帧序列的峰值表情帧的人脸深度特征减去中性表情帧的人脸深度特征作为识别用的差分深度特征；

(T5)将识别用的差分深度特征输入表情分类器，表情分类器输出表情类型。

一种基于差分深度特征的人脸表情识别系统，包括离线训练部分和在线识别部分；

所述离线训练部分包括以下模块：