[发明专利]一种基于特征融合与BP神经网络的人脸表情识别方法

说明书

本发明公开了一种基于特征融合与BP神经网络的人脸表情识别方法，包括：首先对表情数据库中的原始图像的背景区域进行裁剪，裁剪并灰度化得到只有人脸部分的图片；使用图片预处理后的人脸表情特征根据协方差矩阵得到特征值，实现数据降维；将预处理特征和降维后的特征进行串行特征融合，将特征融合后的特征向量经过神经网络的训练后得到分类模型，通过建立好的分类模型对表情进行预测及识别。本发明既能使得图像的信息量丰富，又能突出核心重点的人脸特征，模型简易，不需要较大数据量，兼顾全局特征和降维后的人脸特征能对几类基本表情进行有效识别。

技术领域

本发明涉及一种模式识别技术领域，更具体地，涉及一种基于特征融 合与BP神经网络的人脸表情识别方法。

背景技术

人脸表情是我们表达情感的重要方式之一，同时表情识别也是社会交 际中最强大、最具挑战性的任务之一。如今的人脸检测技术最近几年发展 趋近成熟，而面部表情识别也正处于飞速发展和研究的阶段，表情识别涉 及到诸多学科领域，如人工智能、模式识别、生理学和医学等，人脸表情 识别同样在心理学研究、车辆安全驾驶、临床医学、人机交互设备等诸多 领域具有广泛的发展前景。

表情识别一般可以分为三个步骤：人脸表情图像的收集、表情的特征 提取、训练表情模型和识别，其中特征提取和训练表情模型是整个识别系 统中最为重要的两部分。Bashyal、Zhang和Hegde等人用Gabor小波基于 纹理特征提取方法作了深入研究,还有2016年Cossetin通过中心像素和其位 置像素之间的阈值化得到的LBP特征和韦伯局部人脸纹理特征(WLD), 由2014年Taylor提出了一种独立分量分析(ICA)利用多通道观测提取局 部特征的特征提取方法。各学者大多在特征提取的单一特征下研究，而单 一的特征往往不能准确描述图像内容，无法描述表情中细微的特性和变化。 如何在图像的表征上取得更好的描述关键特征，对于原始特征，它的信息 量比较丰富，但缺点是数据冗余，除了主要关键特征，其他北京、噪声等 干扰因素也多，会导致重点不突出。而PCA特征提取降维后的特征能够突 出核心重点的人脸特征，但是在变换过程中损失了一些细微的人脸信息量。

中国专利公开CN109858467A于2019年6月07日公开了“一种基于 关键点区域特征融合的人脸识别方法及装置”，其是将提取的特征进行融 合，是将脸部几个关键点进行融合，其使用的模型较复杂，需要大量数据 训练，容易忽略整体与部分之间的关联。在人脸表情识别过程中往往容易 受到人脸、年龄、性别、种族、遮挡等变化的影响，而传统方法中对单一 特征进行识别，这种缺点是不能对人脸整体的信息作为特征训练到网络中。

发明内容

本发明的目的在于克服上述缺点提供的一种既能使得图像的信息量丰 富，又能突出核心重点的人脸特征，模型简易，不需要较大数据量，兼顾 全局特征和降维后的人脸特征能对几类基本表情进行有效识别的基于特征 融合与BP神经网络的人脸表情识别方法。

为了实现上述目的，本发明的技术方案如下：

本发明的一种基于特征融合与BP神经网络的人脸表情识别方法，包括 以下步骤：

(1)图片预处理：首先对表情数据库中的原始图像的背景区域进行裁 剪，利用matlab中的工具包face parts detection，对人脸表情图库中的图像 进行批量读取，读取完后就进行人脸检测，检测完对人脸区域进行分割， 使用imcrop()函数裁剪并灰度化得到只有人脸部分的图片，接着使用 imresize()函数对图片的大小进行缩小，最后得到对图片的预处理特征；

(2)在PCA(主成分分析法principal component analysis)中，使用图 片预处理后的人脸表情特征根据协方差矩阵得到特征值，实现数据降维， 通过样本协方差矩阵进行奇异值分解并构造降维投影轴。对于合适的降维 维数k，可通过主成分贡献率来确定；