[发明专利]一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法

说明书

本发明公开了一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，使用传统的局部二值模式特征、局部方向数特征等与深度神经网络特征分别训练人脸表情分类器，然后利用这些分类器投票，进行人脸表情识别。该表情识别方法使用了近年来流行的深度学习方法，收集大量人脸表情数据解决训练神经网络困难的问题，使用了一个简单卷积神经网络提取深度特征，并创新地与人脸关键点区域的传统生物特征进行融合，进行人脸表情的识别。本发明主要有人脸表情数据预处理、人脸区域检测、人脸表情特征提取、人脸表情分类器训练等步骤。使用该表情识别方法得到的识别率，相比只使用传统特征表情识别方法的识别率提升1％‑2％。

技术领域

本发明涉及机器学习、深度学习和模式识别等科研领域，尤其涉及一种二维人脸表情识别传统特征与深度特征相融合的识别方法。

背景技术

人脸表情识别是人脸识别技术中的一块，人脸表情作为人类交流中一种重要方式，具有重要的研究意义。表情识别目前已经成为了生物学、心理学和机器学习等多领域的交叉性课题，在人机交互，辅助医疗，辅助驾驶等方面被大量应用。

人脸表情识别相关技术主要有人脸表情图像的预处理，人脸区域检测，人脸表情特征提取，表情的分类等。预处理内容主要是进行图像灰度化，降低光照对人脸表情识别的影响。人脸区域检测技术属于图像目标检测技术中的一部分，传统的人脸检测方法主要是通过模板匹配或者检测人脸关键点来检测人脸区域。近些年来，基于深度学习的目前检测算法也开始被广泛研究，一些优秀的技术也被提出来。人脸表情特征的提取是表情识别中最重要的一步，目前主要存在基于几何特征提取的方法，基于外貌轮廓特征提取的方法，基于特征子空间特征提取的方法和基于深度学习的特征提取方法等等。表情识别的最后一步为分类器设计，常用的表情分类方法有kNN，支持向量机等等。

总的来说目前的表情识别算法研究着重于特征的提取和分类器的设计，绝大部分方法使用的是表情图片的全局特征。实际上，只有一些部位(眉毛、眼睛、鼻子和嘴等)决定着一个人的表情，大部分区域对表情是没有贡献的，可能还存在一些噪声影响识别。

发明内容

本发明的目的在于针对目前表情识别方法存在的不足，提出使用关键局部区域特征并融合深度学习提取的特征，进行表情的识别。

本发明的目的是通过以下技术方案来实现的：一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法，该方法收集大量表情数据训练了深度神经网络提取低维的全局深度特征，并结合使用高维的关键点周围局部区域传统生物特征，进行多特征融合分类识别，提升了人脸表情识别方法。目前现有人脸表情数据库数量小，训练出的神经网络识别率很低，该方法收集大量数据提升了深度神经网络的识别率，提升了深度特征的表征能力。该方法包括以下步骤：

(1)人脸表情数据预处理：

从网上下载公开的人脸表情数据集，或者通过网络爬虫收集非公开的人脸表情数据；将表情数据分为高兴、惊讶、悲伤、生气、厌恶、恐惧和中性7种表情，并按不同分类从0-6做好标签，然后把图像灰度化；

(2)人脸区域检测：

使用dlib库中人脸关键点检测算法对人脸表情数据进行人脸关键点检测，每张人脸得到68个人脸关键点，利用该68个人脸关键点获取人脸区域；将人脸全局区域校准归一化为固定大小；利用关键点位置获取传统表情特征，所述传统表情特征包括人脸眉毛、眼睛、鼻子和嘴巴特征；

(3)人脸表情特征提取：

提取传统表情特征：局部二值模式(LBP)特征、局部方向数(LDN)特征和曲波特征；