[发明专利]一种从单张图片生成高精度可驱动人脸三维模型的方法

权利要求书

1.一种从单张图片生成高精度可驱动人脸三维模型的方法，其特征在于，包括如下步骤：

S1：数据采集与处理：采集大量高精度人脸模型数据，处理成拓扑一致的三维网格模型，进一步生成表示粗略形状的人脸双线性模型和表示细节的置换贴图；

S2：动态细节预测网络的训练：使用步骤S1中采集的数据，以人脸三维网格模型的纹理贴图和各关键表情下纹理空间上的顶点位移图作为输入，以各关键表情对应的置换贴图作为输出，训练神经网络；

S3：基础人脸模型拟合：输入单张人脸图片，从中得到人脸双线性模型的参数，进而得到图片对应的人脸三维模型和一套表情基模型；

S4：预测关键表情的置换贴图：将从单张图片得到的人脸纹理贴图和从双线性模型得到的纹理空间上的顶点位移图输入步骤S2中训练好的动态细节预测网络，得到关键表情对应的置换贴图；

S5：动态细节生成：根据输入的任意表情基系数，将关键表情的置换贴图局部加权后线性叠加得到表情基系数对应表情的动态置换贴图；所述动态置换贴图与步骤S3中得到的一套表情基模型共同渲染得到高精度可驱动人脸三维模型。

2.根据权利要求1所述的一种从单张图片生成高精度可驱动人脸三维模型的方法，其特征在于，所述步骤S1的具体过程为：

S11，使用三维重建系统采集高精度人脸数据库，数据库中的原始模型来自多个不同外貌的真实人脸，每个人脸的模型包括中立表情模型和其他数个关键表情下的模型；

S12，从采集的原始数据得到拓扑结构一致的人脸三维网格模型，进而生成人脸双线性模型；

S13，对采集的原始模型做平滑操作，计算平滑之后的模型表面到原始模型表面延法向的距离，并将对应的距离值储存在步骤S12得到的拓扑结构一致的人脸三维网格模型的纹理空间，得到表示人脸细节的置换贴图。

3.根据权利要求1所述的一种从单张图片生成高精度可驱动人脸三维模型的方法，其特征在于，所述步骤S2的具体过程为：

S21，任选步骤S1得到的数据库中同一个人的两个不同表情，分别作为原始表情和目标表情，获得这两个表情的拓扑结构一致的人脸三维网络模型，计算两个模型对应顶点之间的位移，并将此位移储存在原始表情的人脸三维网格模型的纹理空间，得到顶点位移图；其中，三角形面片顶点之间的像素值根据其在三角形内的重心坐标插值补全；

S22，将原始表情的人脸三维网格模型的纹理贴图与步骤S21得到的顶点位移图在通道维度连接作为动态细节预测网络的输入，将目标表情的置换贴图作为输出，训练神经网络以预测目标表情的置换贴图。

4.根据权利要求1所述的一种从单张图片生成高精度可驱动人脸三维模型的方法，其特征在于，所述步骤S4的具体过程为：

S41，将输入的单张图片中人脸部分的像素投影到步骤S3中得到的图片对应的人脸三维模型的纹理空间，得到此人脸三维模型的纹理贴图；

S42，把步骤S3中得到的图片对应的人脸三维模型作为原始表情，由双线性模型得到其他关键表情的人脸模型，获得原始表情到各关键表情的顶点位移图；

S43，将步骤S41得到的纹理贴图和步骤S42得到的各关键表情的顶点位移图依次连接后输入步骤S22中训练好的动态细节预测网络，输出各关键表情对应的置换贴图。

5.根据权利要求1所述的一种从单张图片生成高精度可驱动人脸三维模型的方法，其特征在于，所述步骤S5的具体过程为：

S51，计算表情基模型中各表情基模型的顶点到中性表情的表情基模型上对应顶点的距离，将此距离储存在表情基模型的纹理空间；其中，三角形面片顶点之间的像素值根据其在三角形内的重心坐标插值补全，并将数值归一化到0到1之间，称为各表情基模型的激活位置图；

S52，根据输入的任意表情基系数及各关键表情对应的固定的表情基系数，将各表情基模型对应的激活位置图线性加权叠加，得到输入的表情基系数对应的各关键表情的置换贴图掩模；

S53，将步骤S4得到的关键表情对应的置换贴图利用步骤S52得到的掩模叠加，得到当前输入的表情基系数对应的动态置换贴图；

S54，根据输入的表情基系数，利用步骤S3的表情基模型，得到粗略的目标表情的人脸三维模型；将粗略的目标表情的人脸三维模型与步骤S53得到的动态置换贴图共同渲染，得到对应任意表情基系数的高精度人脸三维模型。