[发明专利]一种基于级联回归网络的单张图片三维人脸重建方法

权利要求书

1.一种基于级联回归网络的单张图片三维人脸重建方法，其特征在于：所述方法的整体步骤如下：

步骤一、数据准备：

a、用3D扫描仪采集三维人脸数据，包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及三维人脸形状点云的三角关系；

b、将采集得到的人脸图片做人脸检测，裁剪人脸图片，同时根据人脸姿态对三维人脸形状点云做处理，得到对应于裁剪后人脸图片的三维人脸形状点云；

步骤二、模型设计：

a、构建包含两级多任务卷积神经网络的网络模型，并逐级回归三维人脸形状、人脸特征点的三维坐标以及人脸姿态的角度；

b、向第一级网络输入一张100*100*3的人脸图片，同时回归预测三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态的角度；

c、提取改进形状特征：首先计算输入至第一级网络中人脸68个特征点的可见性，对于可见的特征点，将其投影到原来的二维人脸图片上，以可见的特征点为中心，用双线性插值的方法裁剪10*10大小的图片块；对于不可见的特征点，10*10大小的图片块直接填充为0；然后将上述10*10大小的图片块拼接成100*100*3大小的图片，空余地方用0填充；

d、向第二级网络输入一张100*100*3的人脸图片，以及上一步提取的改进形状特征，回归三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差以及人脸姿态残差；

步骤三、模型训练：

a、训练第一级网络：向第一级网络输入一张100*100*3的人脸图片，和对应的三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态，计算欧氏距离损失，利用批次随机梯度下降方法更新网络参数；

b、当第一级网络模型在校验集上获得的三维人脸重建精度不能随着训练过程再提升时，停止训练；然后按照步骤二中的步骤c提取训练集二维人脸图片的改进形状特征；

c、训练第二级网络：向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征，和根据第一级预测结果得到的三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差、人脸姿态残差，计算欧式距离损失，利用批次随机梯度下降方法更新网络参数；

d、当第二级网络模型在校验集上获得的三维人脸重建精度不能随着训练过程再提升时，停止训练；

e、最终训练完成获得多任务级联回归卷积神经网络M；

步骤四、模型测试：

a、输入图像为包含人脸的图像I；

b、将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像Img；

c、将人脸图像Img输入到多任务级联回归卷积神经网络M中，获得三维人脸形状、人脸特征点以及人脸姿态；

d、根据计算得到的三维人脸形状以及三维人脸形状点云的三角关系，用OpenGL渲染并显示三维人脸结构。