[发明专利]一种基于稀疏表示的双字典和多特征融合决策人脸表情识别方法

说明书

本发明公开了一种基于稀疏表示的双字典和多特征融合决策人脸表情识别方法，首先对无表情人脸图像样本和特定表情人脸图像样本提取特征，根据特征构建标称字典和特性字典；针对待识别的图像，通过提取相应的特征，采用标称字典对其进行稀疏编码，然后将编码系数结果结合标称字典得到重构后的无表情图像特征，将重构前后的特征相减得到仅包含表情特性信息的特征，采用特性字典对该特征进行稀疏编码得到编码系数向量；以特性字典为基础对不同类的特征训练出辅助决策融合字典，并基于稀疏表示对不同类特征计算得出的编码系数向量进行分类判决，得到各类特征的判决结果；采用投票的方式得到最终的识别结果；本方法可有效克服人脸、光照、遮挡等变化对表情识别的影响。

技术领域

本发明属于人脸表情识别技术领域，更具体地，涉及一种基于稀疏表示的双字典和多特征融合决策人脸表情识别方法。

背景技术

人脸表情识别技术在人机交互、在线教育、智能驾驶等领域具有很强的应用前景。在实际使用过程中，人脸表情识别易受到光照、噪声、遮挡的影响，为了克服这些因素的影响，基于稀疏表示理论的识别算法框架得到了广泛的应用。

当前，影响基于稀疏表示理论的人脸表情识别准确率最重要的特征是类内变化，对于人脸表情识别而言不同类表情间的特征差异有助于识别准确率，而类内变化则会干扰识别结果。对于同一类表情图像其类内变化主要是指人脸的变化、光照变化、遮挡的变化、图像噪声的变化。因此，如何消除类内变化成为基于稀疏表示理论人脸表情识别的研究难点。

Lee Seung Ho等人在IEEE Transactions on Affective computing(2014)上发表的“Intra-Class Variation Reduction Using Training Expression Images forSparse Representation Based Facial Expression Recognition”针对表情识别过程中的类内变化，提出了通过训练样本重构出类内变化特征图，并通过提取其与不同表情图像的差分信息来识别人脸表情；但是该技术方案在提取类内变化特征时，并没有区分无表情人脸和特定表情的特征。

Du Lingshuang等人在Electronics letters(2017)上发表的“Modifiedclassification and regression tree for facial expression recognition withusing difference expression images”提出了基于特定表情人脸与无表情人脸间的差分图像信息进行人脸表情识别；但该技术方案是直接采用图像差分进行识别会丢失大量的信息，尽管提取了类内变化特征，但是很容易丢失一些可用于识别的重要信息。

在真实世界中拍摄的表情图像往往会受到光照、遮挡、相机成像噪声的影响，不同的人脸也会对不同类型的表情识别带来一定程度的影响，因此研究一种能够克服人脸、光照、遮挡、噪声等表情类内变化的表情识别方法，对于现实场景中人脸表情识别有着非常重要的应用价值。

发明内容

针对现有技术的以上缺陷或改进需求中的至少一种，本发明提供了一种基于稀疏表示的双字典和多特征融合决策人脸表情识别方法，其目的在于克服遮挡、图像噪声、人脸、光照等类内变化对人脸表情识别的影响。

为实现上述目的，按照本发明的一个方面，提供了一种基于稀疏表示的双字典和多特征融合决策人脸表情识别方法，包括如下步骤：

(1)分别针对无表情的人脸图像样本和预设特定表情的人脸图像样本提取特征，并根据特征构建标称字典和特性字典；

其中标称字典由无表情人脸图像样本的特征构成，特性字典由无表情人脸图像与特定表情人脸图像的特征差分信息构成；

在一个优选实施例中，使用了三种经典的特征：HOG、LBP和Haar特征；在一个优选实施例中，特定表情的图像样本分为惊讶、高兴、恐惧、愤怒、悲伤、厌恶表情样本；