[发明专利]一种基于三维人头跟踪的实时虚拟试发方法

说明书

本发明涉及一种基于三维人头跟踪的实时虚拟试发方法。本发明首先训练耳朵和脖子分割器；然后训练三维人头重建模型，其中包括构建三维人头重建模型，使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数，最后虚拟试戴。本发明在三维空间内将发型佩戴到受试者的人头上，使得试戴的效果更加逼真，大大地提升了用户的体验感，并且为个性化形象设计，在线商城等提供技术支持。

技术领域

本发明属于增加现实领域，具体涉及一种基于三维人头跟踪的实时虚拟试发方法。

背景技术

头发作为个人形象的一个重要特征，在如今追求个性化的时代越来越受到人们的重视，拥有一个能提升自身形象的发型已经成为人们日常生活工作中的一部分。如果去理发店通过跟理发师口头描述自己想要发型或者选择发型手册中的一款发型来进行理发的话，往往会出现修剪后的发型并不适合自己的结果并且一般该结果都难以改变。这时候如果可以在还未理发前就能试验一下选择的发型是否适合自己，结果就未必会如此糟糕。但是如果是通过佩戴假发来模拟修建发型后的效果，仅仅是为每个发型准备一个可试戴的假发就会导致成本十分高，而且佩戴假发这一过程十分费时费力。相对来说，如果能够进行虚拟试发的话，成本将会更低，并且更加便捷，适用的范围也更加的广泛，可用于个性化形象设计、在线商城试戴等领域。

目前市场上存在的虚拟试发系统都是基于二维图片的，即用户输入一张人脸照片并且选择一个特定的发型，系统则会自动把选择的发型佩戴在输入的照片中的人脸头部上。然而该类系统会出现如下几个主要缺点：(1)相对于正面角度，若用户输入侧面角度的相片，佩戴结果较差，选择的发型并不会根据人脸旋转的角度来进行对应的变化。(2)用户若想要观察不同角度的试发效果，需要重复提供不同角度的相片，操作过程较为繁琐。

发明内容

本发明针对现有技术的不足，提供了一种基于三维跟踪的实时虚拟试发方法。用户可以输入一段试发视频并且选择像想要试戴的发型，该技术会自动将选择的发型对应地三维虚拟头发佩戴到输入的视频帧中的用户人头上，并进行增强现实绘制，使得用户可以实时地观看到虚实结合的试发效果。

本发明解决其技术问题所采用的技术方案步骤如下：

步骤1、训练耳朵和脖子分割器

(1-1)准备带有耳朵掩膜和脖子掩膜的人脸图片数据库；

(1-2)使用人脸图片数据库来训练实例分割模型，得到耳朵脖子分割器。

步骤2、训练三维人头重建模型

(2-1)构建三维人头重建模型，所述的三维人头重建模型包括特征提取网络，参数回归网络和FLAME解码网络；

所述特征提取网络用于提取人脸输入图片的2048维的特征向量；

所述参数回归网络的输入为特征提取网络提取的特征向量，输出为159维的参数向量，其中前3维为相机参数，接下来6维为姿态参数，接下来100维为形状参数，余下50维为表情参数；

将获得的姿态参数、形状参数和表情参数作为FLAME解码网络的输入，得到与人脸输入图片中人脸对应的三维人头；

(2-2)使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数。

步骤3、虚拟试戴

(3-1)准备三维头发模型；

(3-2)通过三维人头重建模型构建试戴者的三维人头；

(3-3)将三维头发模型佩戴到试戴者的三维人头上并进行增强现实绘制。