[发明专利]一种基于三维人头跟踪的实时虚拟试发方法

权利要求书

1.一种基于三维人头跟踪的实时虚拟试发方法，其特征在于该方法包括以下步骤：

步骤1、训练耳朵和脖子分割器

(1-1)准备带有耳朵掩膜和脖子掩膜的人脸图片数据库；

(1-2)使用人脸图片数据库来训练实例分割模型，得到耳朵脖子分割器；

步骤2、训练三维人头重建模型

(2-1)构建三维人头重建模型，所述的三维人头重建模型包括特征提取网络，参数回归网络和FLAME解码网络；

所述特征提取网络用于提取人脸输入图片的2048维的特征向量；

所述参数回归网络的输入为特征提取网络提取的特征向量，输出为159维的参数向量，其中前3维为相机参数，接下来6维为姿态参数，接下来100维为形状参数，余下50维为表情参数；

将获得的姿态参数、形状参数和表情参数作为FLAME解码网络的输入，得到与人脸输入图片中人脸对应的三维人头；

(2-2)使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数；

关键点损失函数如下：

其中k_i为由二维人脸关键点检测器检测出的人脸关键点的位置，w_i为由二维人脸关键点检测器提供的人脸关键点的置信度，为重建的三维人头上的三维关键点投影到二维图片空间的位置；

形状一致损失函数如下：

其中β_i和β_j为一个人在不同环境下的图片通过三维人头重建模型预测出来的形状参数，β_i和β_k为不同人的图片通过三维人头重建模型预测出来的形状参数，η为自定义的阈值；

耳朵形状一致损失函数如下：

L_ear＝‖M′_ear-M_ear‖₂

其中M_ear为耳朵和脖子分割器分割出来的耳朵区域，M′_ear为重建的三维人头上的耳朵投影到二维图片的区域；

脖子形状一致损失函数如下：

L_neck＝‖M′_neck-M_neck‖₂

其中M_neck为耳朵和脖子分割器分割出来的脖子区域，M′_neck为重建的三维人头上的脖子投影到二维图片的区域；

步骤3、虚拟试戴

(3-1)准备三维头发模型；

(3-2)通过三维人头重建模型构建试戴者的三维人头；

(3-3)将三维头发模型佩戴到试戴者的三维人头上并进行增强现实绘制。

2.根据权利要求1所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：步骤1中所述的人脸图片数据库采用公开的数据库CelebAMask-HQ。

3.根据权利要求1所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：步骤1中所述的耳朵脖子分割器由Mask-RCNN模型训练得到。

4.根据权利要求1所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：步骤3具体是：

收集18-22个不同的三维头发模型，在FLAME平均模型上选取四个点p，分别为左耳朵、右耳朵、左前额处和右前额处；

对于任一人脸视频帧，获得通过三维人头重建模型生成的三维人头模型上对应的四个点q位置，求得一个最优的相似变化矩阵T_s：

将相似变化矩阵T_s作用到三维头发模型上，即将三维头发模型佩戴到输入的视频帧中用户的三维人头上。

5.根据权利要求3所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：在绘制时，只绘制未被三维人头遮挡的三维头发模型并把绘制结果直接叠加在当前视频帧上。