[发明专利]基于三维人脸模型的人脸关键点检测方法

说明书

本发明涉及一种基于三维人脸模型的人脸关键点检测方法，包括如下步骤：步骤01，在人脸训练样本中获取人脸图像和三维人脸模型的初始参数；步骤02，根据所述人脸图像及初始参数生成姿态自适应特征和归一化坐标编码；步骤03，分别对所述姿态自适应特征和归一化坐标编码使用卷积神经网络进行变换融合，得到真实残差和初始参数的参数残差；步骤04，根据所述参数残差更新所述初始参数，转到步骤02直至所述参数残差达到预设阈值；步骤05，利用达到预设阈值的参数残差更新所述三维人脸模型，采集所述三维人脸模型上的人脸关键点。本发明中，实现了全姿态下的人脸关键点检测。

技术领域

本发明属于图像处理与模式识别技术领域，具体涉及一种基于三维人脸模型的人脸关键点检测方法。

背景技术

人脸关键点是人脸上一系列具有固定语义的点，如眼角、鼻尖和嘴角等，在基于人脸理解的计算机视觉中，检测关键点是一个重要的预处理步骤。绝大多数人脸分析系统都需要首先进行关键点检测，以对人脸的五官分布有一个准确的了解，从而在人脸的指定位置提取特征。然而目前大多数关键点检测方法都只能处理中等姿态以下，即偏转角(yaw)小于45°的人脸，大姿态下(偏转角可达到90°)的人脸关键点检测一直是个难点。

其中存在的挑战主要有以下三个方面：首先，传统的关键点检测算法中，假设所有关键点都具有稳定的表象特征从而可以被检测到。然而，在大姿态下，一些关键点会不可避免地由于自遮挡而变得不可见，这些不可见点由于其表象信息被遮挡而不能被检测到，造成传统方法失效；其次，在大姿态下人脸的表象变化更加复杂，可以从正面变化到侧面，这要求定位算法必须更加鲁棒以理解不同姿态下的人脸表象；最后在训练数据方面，标定大姿态下人脸的关键点是比较困难的，对于不可见的关键点需要猜测其位置，大部分现有数据库中的人脸都是中等姿态下的，少数包含大姿态人脸的数据库也仅标注了可见关键点，很难设计一个处理任何姿态的关键点算法。

现有技术中一个可能的解决方案是由图像直接拟合出三维人脸模型。通常使用级联的卷积神经网络对一张输入图像进行变换，回归出三维人脸模型的参数。然而该技术存在以下缺陷：首先，该技术使用欧拉角表述人脸的旋转，而欧拉角在大姿态下会由于万向节死锁而产生二义性；其次，该技术仅使用图像视角的输入特征，即将原始图像直接送入卷积神经网络，而在级联中可以使用中间结果图像进行逐步校正，从而进一步提升拟合精度；最后，该技术在训练卷积神经网络时没有对模型参数的优先级进行有效建模，使卷积神经网络的拟合性能分散在一些次要参数上。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于三维人脸模型的人脸关键点检测方法，以实现全姿态下的人脸关键点检测。

该方法包括如下步骤：

步骤01，在人脸训练样本中提取人脸图像和三维人脸模型的初始参数；

步骤02，根据所述人脸图像及初始参数生成姿态自适应特征和归一化坐标编码；

步骤03，分别对所述姿态自适应特征和归一化坐标编码使用卷积神经网络进行变换融合，得到真实残差和初始参数的参数残差；

步骤04，根据所述参数残差更新所述初始参数，转到步骤02直至所述参数残差达到预设阈值；

步骤05，利用达到预设阈值的参数残差更新所述三维人脸模型，采集所述三维人脸模型上的人脸关键点。

优选地，所述步骤02中在生成所述姿态自适应特征时，对所述三维人脸模型进行投影，投影时的公式包括：