[发明专利]基于神经网络的人脸复杂表情识别方法

摘要

本发明公开了一种基于神经网络的人脸复杂表情识别方法，在通用反向传播神经网络的基础上，融合基于面部特征子图提取和基于生物特征参数提取两种方法的人脸识别技术，在基于面部特征子图提取的方法中，提取眼睛、鼻子和嘴巴的四个子图像，并将其馈送到通用反向传播神经网络；在基于生物特征参数提取的方法中，面部特征点之间的七个测量距离将被馈送到另一个通用反向传播神经网络，选择基于面部特征子图提取的方法作为主要神经网络，而基于生物特征参数提取的方法用作辅助神经网络，如主要分类器未识别，用辅助分类器识别。

主权项

1.一种基于神经网络的人脸复杂表情识别方法，其步骤是：A、输入训练集中的人脸图像，先在每个人脸图像上运行面部组件特征检测器CBD，通过点击人脸图像上眼睛、鼻子和嘴巴的中间部分来提取四个特征的子图像；B、使用面部组件特征检测器CBD半自动点击每个人脸图像中眼睛、鼻子和嘴巴的中间部分，并测量之间的七个特征检测距离；C、将步骤A所生成的四个子图像归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)对应于每个图像的眼睛、鼻子和嘴巴的子图像的灰度级别分别存储在四个矩阵中，四个矩阵成形为一个向量；(2)将所有训练样本的所有输入向量组合成训练矩阵X1，然后进行归一化；(3)测试集中的每个人都有一个数字来识别他的身份,网络的期望输出Y1将是以二进制格式保存相应的输入图像；(4)X1和Y1送入通用反向传播神经网络进行训练；D、将步骤B所生成的七个特征检测距离归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)将每个图像的七个特征测量距离存储在一个向量中；(2)将所有训练样本的所有输入向量组合成训练矩阵X2，然后进行归一化；(3)输出Y2为相应输入图像的二进制数；(4)将X2和Y2送入通用反向传播神经网络进行训练；E、在步骤C和步骤D训练结束后，分别对两个通用反向传播神经网络计算系统的均方误差MSE，具有较少整体MSE的网络作为主要分类器，另一个作为辅助分类器；F、输入待检测人脸图像，按照步骤A对待检测人脸图像中的眼睛、鼻子和嘴巴四个特征提取其子图像，对四个子图像的相应灰度级别进行提取，得到四个矩阵，将四个矩阵归一化和重构成长度为1425的行向量，结合输入向量形成的矩阵被馈送到主要分类器进行识别，如主要分类器未识别，用辅助分类器识别；G、根据步骤B取得待检测人脸图像中七个特征检测距离，七个特征检测距离存储在一个向量中，结合输入向量形成的矩阵被馈送到辅助分类器进行识别。