[发明专利]一种基于特征融合与BP神经网络的人脸表情识别方法

权利要求书

1.一种基于特征融合与BP神经网络的人脸表情识别方法，包括以下步骤：

(1)图片预处理：首先对表情数据库中的原始图像的背景区域进行裁剪，利用matlab中的工具包face parts detection，对人脸表情图库中的图像进行批量读取，读取完后就进行人脸检测，检测完对人脸区域进行分割，使用imcrop()函数裁剪并灰度化得到只有人脸部分的图片，接着使用imresize()函数对图片的大小进行缩小，最后得到对图片的预处理特征；

(2)在PCA中，使用图片预处理后的人脸表情特征根据协方差矩阵得到特征值，实现数据降维，通过样本协方差矩阵进行奇异值分解并构造降维投影轴，对于合适的降维维数k，通过主成分贡献率来确定；

(3)将步骤(1)得到的预处理特征和PCA特征提取降维后的特征进行串行特征融合，融合前进行数据平衡性调整，确保两种数据是维数相等的，将步骤(2)得到的数据集增加到预处理后数据集的左边，实现串行融合；

(4)将特征融合后的特征向量分为训练集、验证集和测试集，利用训练集作为BP神经网络的输入，通过验证集与实际输出修正连接权值和阈值，待训练完毕后，将测试集提供给网络以验证网络分类的正确性，通过建立好的分类模型对表情进行预测及识别。

2.如权利要求1所述的一种基于特征融合与BP神经网络的人脸表情识别方法，其中第(2)步所述的PCA过程如下：对经过预处理后的人脸表情图像进行主成分分析处理，n个特征空间中利用映射向量提取权值向量P(k)＝[P₁,P₂,P₃,…P_N]，来产生主成分Q(i)＝Q₁,Q₂,Q₃,…Q_n，给出Q(J)＝X_K(j)×P_K(j)，计算协方差矩阵X^TX进行奇异值分解并构造降维投影轴为：[U,S,V]＝svd(∑)，式中：m为样本数量，n为样本维数，x⁽ⁱ⁾表示第i个样本，降维距离误差为式中，为第i个样本的降维输出，误差系数ε小于0.01； 而对于合适的降维维数k，通过主成分贡献率来确定，贡献率取值为0.99。

3.如权利要求1所述的一种基于特征融合与BP神经网络的人脸表情识别方法，其中第(4)步所述BP神经网络的步骤如下：首先进行初始化，给每个连接权值w_ij、w_jk和阈值θ₁、θ₂赋予随机量，随机选取一组训练和验证集提供给网络；然后，用训练样本、连接权值和阈值计算隐含层各单元的输入S_j和输出层各单元的输出L_t，通过传递函数计算隐含层各单元的输出b_j和输出层各单元的响应Y_t；接着，计算每个样本的激活值后，计算验证集与网络的实际输出Y_t的误差和隐含层的误差得到的误差与输出比较修正连接权值w_jk和阈值θ₂，再用隐含层的误差和输入比较来修正连接权值w_ij和阈值θ₁；最后，直到训练和验证样本训练完毕后，将测试样本提供给网络以验证网络分类的正确性。