[发明专利]一种基于级联回归网络的单张图片三维人脸重建方法

说明书

本发明公开了一种基于级联回归网络的单张图片三维人脸重建方法，整体步骤为：一、数据准备：采集三维人脸数据，获取人脸图片的三维人脸形状点云；二、模型设计：构建包含两级多任务卷积神经网络的网络模型，并逐级回归人脸特征，然后提取改进形状特征；三、模型训练：分别对两级多任务卷积神经网络进行训练，获得多任务级联回归卷积神经网络M；四、模型测试：将图像I输入到多任务级联回归卷积神经网络M中，进行模型测试。本发明采用多任务级联回归卷积神经网络，逐级回归三维人脸形状、人脸特征点以及人脸姿态，同时改进了传统的特征提取方法，通过计算特征点的可见性，消除了二维人脸图片上特征点的混淆性，使得该方法对大姿态更加鲁棒。

技术领域

本发明涉及一种三维人脸重建方法，尤其涉及一种基于级联回归网络的单张图片三维人脸重建方法。

背景技术

三维人脸重建的目标是根据输入的二维人脸图片，重建其相应的三维人脸形状。该技术广泛应用于人脸动画，人脸表情分析以及三维人脸识别等领域。目前关于三维人脸重建的代表方法有：

(1)基于三维人脸模型的单张图片三维人脸重建方法，主要技术手段为：基于二维人脸数据库采用SDM(Supervised Descent Method，监督下降方法)算法训练得到二维人脸特征点参数模型。基于单张正面照的进行人脸重建时，首先使用二维图片特征点参数模型提取人脸特征点；然后，根据三维人脸统计模型，使用学习因子自适应梯度下降法对能量函数进行迭代优化，得到统计模型参数化向量，即得到二维人脸图片对应的三维人脸模型。该方法的缺陷有：在大姿态下一些人脸特征点不可见，影响三维人脸形变模型的参数求解精度；另一方面，该方法仅仅用到了人脸特征点的信息，没有利用整张人脸图片的信息。

(2)基于深度神经网络的端到端三维人脸重建方法，主要技术手段为：采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合，基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数。该方法一次性直接回归三维人脸统计模型的参数，没有对三维人脸形状进行逐级回归，因此对人脸的细节部分展现的不够完善。

(3)基于立体视觉的三维人脸重建方法，主要技术手段为：使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，分别对两台摄像机的内、外参数矩阵进行标定。根据标定数据进行对极线校正和图像变换，然后利用Harris角点检测算子提取人脸特征点，并利用局部模板窗口方法以及极线约束进行初始匹配。从初始匹配集合出发，利用种子点增长算法得到稀疏匹配集合，利用稀疏匹配集合作为引导点，执行动态规划算法完成稠密匹配。根据标定数据和匹配关系计算人脸上实际物点的三维坐标，从而重建出人脸的三维人脸形状点云。该方法没有对人脸特征点的三维坐标做进一步回归，所以鲁棒性较差。

基于现有的三维人脸重建方法仍然存在上述的各种问题，开发一种对大姿态更加鲁棒、可重构人脸细节的新方法将具有重要的现实意义。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于级联回归网络的单张图片三维人脸重建方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于级联回归网络的单张图片三维人脸重建方法，整体步骤如下：

步骤一、数据准备：

a、用3D扫描仪采集三维人脸数据，包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及三维人脸形状点云的三角关系；

b、将采集得到的人脸图片做人脸检测，裁剪人脸图片，同时根据人脸姿态对三维人脸形状点云做处理，得到对应于裁剪后人脸图片的三维人脸形状点云；

步骤二、模型设计：

a、构建包含两级多任务卷积神经网络(即第一级网络和第二级网络)的网络模型，并逐级回归三维人脸形状、人脸特征点的三维坐标以及人脸姿态的角度；