[发明专利]一种基于深度学习和表情识别的面部关键点定位方法

说明书

本发明公开了一种基于深度学习和表情识别的面部关键点定位方法，包括：选取特定的多种表情的人脸图像，根据人脸图像中脸部特征进行表情建模；将表情模型中脸部各个器官的轮廓作为关键点数据进行标注，构建数据集；对构建的数据集进行预处理；搭建深度学习网络模型；将预处理后的数据集输入所述深度学习网络模型中进行训练；将训练后的面部关键点数据集用于表情分类与识别预测。本发明所述方法无需处理整张图像的信息，只需要处理定位出的关键点信息用来充当各类场景下表情识别的数据集，即可进行快速表情分类与识别预测，有效减少了计算量，提高了表情关键点识别的鲁棒性。

技术领域

本发明涉及人工智能与表情识别技术领域，特别涉及一种基于深度学习和表情识别的面部关键点定位方法。

背景技术

随着科学技术的不断深究，人脸关键点定位技术成为了研究表情识别系统的主要核心问题之一，也是必不可少的一个预处理的过程。即使我们使用简单的人脸对齐技术对图像进行仿射矩阵计算并裁剪使得人脸双眼处于水平状态，也可以有效的提高表情识别系统的准确率。

人脸关键点定位也称人脸关键点检测(Facial Landmark Detection)，即对利用某种方法例如人脸检测器、CNN(Convolution Neural Network，CNN)进行人脸检测获取得到的人脸框，将人脸至关重要的部分，例如眼睛、嘴巴、鼻子、眉毛、脸型轮廓等定位出来。需要说明的是：英文文献中常常将人脸对齐(Face Alignment)和人脸关键点检测混用，而实际上人脸对齐是将两个形状各异的人脸进行归一化处理的过程，使得其中一个的人脸形状更加贴近另一个。此外，人脸特征点定位除了应用在人脸识别任务上，还有很多应用场景，例如：人脸跟踪、姿态估计、面部表情分析及识别、年龄估计、脸型识别、性别区分、人脸老化、疲劳度检测、3D人脸漫画以及人脸素描生成等众多视觉领域。

因此，研究人脸关键点定位具有重要的意义及现实价值，符合人类价值观理念。虽然现研究深入且落地实用，但仍然面临着各种困难和挑战，主要难点是在非限制性复杂环境条件下由于不同姿态、不同光照、不同程度遮挡、复杂表情、人脸检测等内在因素和外在因素对它的影响。因此提升算法在以上情况下的鲁棒性，以及关键点定位精度和准确度成为研究的重点攻克方向。

现有的人脸关键点定位算法大致可以分为两类：基于搜索空间的人脸成份定位方法(分类法)和直接预测法。

分类法主要是依据区域分割来进行判定关键点，即先对人脸进行关键点区域分割，然后对区域单独训练分类器，再通过对局部窗口下的图像进行分类来寻找候选区域，随后通过形态约束在这些候选区域中估计最优关键点。这种方法计算量大且是一种判定人脸局部区域是否为关键区域的方法，容易受模糊区域的影响，并不适合用在表情识别系统中。

直接预测法经过细分主要包括：模型匹配的方法、基于回归的方法和基于深度学习的方法。它们首先从人脸样本集合中学习出关键点模型，利用训练学习得出的模型对测试样本进行预测。例如传统的关键点定位方法包括：主动形状模型(ASM)、鲁棒级联形状回归算法(RCPR)。这些方法的思想是将已经手工标注好的人脸形状的人脸关键点信息形成学习集，测试时，对任意给定的新的人脸图像形状，估计该图像与学习集中训练图像之间的相似度，并将同样的相似度用于人脸形状的重构来进行预测分类。目前最受研究者们欢迎的还是深度学习的方法，深度学习的建模和表征能力很好的推进了表情识别、关键点等研究进程。特别的，深度卷积神经网络在特征提取方面表现出很大的优势。因此，本发明就是在卷积神经网络的基础上提出了一种新的面部关键点定位算法。

发明内容

本发明的目的在于提供一种基于深度学习和表情识别的面部关键点定位方法，解决在复杂表情识别系统中计算量大及表情关键点鲁棒性低的问题。

为解决上述技术问题，本发明的实施例提供如下方案：

一种基于深度学习和表情识别的面部关键点定位方法，包括以下步骤：

选取特定的多种表情的人脸图像，根据人脸图像中脸部特征进行表情建模；