[发明专利]一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法

权利要求书

1.一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，其特征在于，收集大量表情数据训练深度神经网络提取低维的全局深度特征，并结合使用高维的关键点周围局部区域传统生物特征，进行多特征融合分类识别，该方法包括以下步骤：

(1)人脸表情数据预处理：

从网上下载公开的人脸表情数据集，或者通过网络爬虫收集非公开的人脸表情数据；将表情数据分为高兴、惊讶、悲伤、生气、厌恶、恐惧和中性7种表情，并按不同分类从0-6做好标签，然后把图像灰度化；降低光照和色差对表情识别的影响；

(2)人脸区域检测：

使用dlib库中人脸关键点检测算法对人脸表情数据进行人脸关键点检测，每张人脸得到68个人脸关键点，利用该68个人脸关键点获取人脸区域；将人脸区域校准归一化为固定大小；利用关键点位置获取传统表情特征，所述传统表情特征包括人脸眉毛、眼睛、鼻子和嘴巴特征；

(3)人脸表情特征提取：

提取传统表情特征：局部二值模式LBP特征、局部方向数LDN特征和曲波特征；

所述LBP特征定义在图像3×3像素点邻域内，将邻域中心像素点的灰度值作为阈值，分别将相邻8个像素点的灰度值与中心像素点的灰度值进行比较，若大于中心像素点的灰度值，则该像素点的位置被标记为1，否则为0；这样，3×3邻域内的像素点经比较产生8位二进制数，即得到该邻域中心像素点的LBP编码值，并用这个值来反映该邻域的纹理信息；对图像的LBP编码值进行直方图统计，得到相应的LBP特征向量，每个样本的特征向量为1×256维；

所述LDN特征通过Kirsch边缘模板计算得到；Kirsch边缘模板包括8个方向，在图像3×3像素邻域内，利用Kirsch边缘模板计算得到8个方向的边缘响应值{m₀,…,m₇}，然后在8个响应值中找出最大值的位置编号i和最小值的位值编号j，即：

i＝arg max{m_i|0≤i≤7}

j＝arg min{m_j|0≤i≤7}

则像素点的LDN响应值为i×8+j；对图像的LDN值进行直方图统计，得到相应的LDN特征向量，每个样本的特征向量为1×64维；

所述曲波特征描述了人脸表情图像曲线轮廓，直接利用Curvlab开源库得到系数特征；

根据步骤(2)获取的人脸区域，训练一个深度神经网络来获取深度学习特征；所述深度学习特征是指把表情图像输入到训练好的神经网络，得到的卷积层或者全连接层的向量值；在识别技术中，使用该向量值作为图像的深度特征向量；

(4)人脸表情分类器训练：

使用了k近邻算法，步骤如下：

(a)计算特征距离：输入表情特征，计算它与训练集中的每个表情特征的欧式距离；

(b)寻找最近距离：找出距离最近的k个训练数据特征，作为输入表情的近邻；

(c)进行表情分类：根据这个k个近邻的类别，对输入表情进行分类；

对于输入表情的3种传统特征和1种深度特征，都能得到一个分类结果，然后对所有特征得到的分类结果进行投票，选取结果中最多的标签作为输入表情的标签，得到最终的表情分类结果。