[发明专利]三维人脸重建网络训练及虚拟人脸形象生成方法和装置

说明书

本申请涉及一种三维人脸重建网络训练及虚拟人脸形象生成方法和装置。三维人脸重建网络训练的方法包括：获取二维人脸样本图片；通过待训练的三维人脸重建网络从所述二维人脸样本图片中提取三维人脸样本参数；将三维人脸样本参数输入渲染器模拟网络进行映射处理，得到虚拟人脸形象；将所述虚拟人脸形象及所述二维人脸样本图片分别输入人脸一致性网络进行特征提取，计算得到所述虚拟人脸形象相对所述二维人脸样本图片的特征损失值；基于所述特征损失值调整所述三维人脸重建网络的参数并继续训练，直至满足训练结束条件时结束训练。采用本方法无需标注即可实现端到端无监督训练。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种三维人脸重建网络训练及虚拟人脸形象生成方法和装置。

背景技术

随着人工智能技术的发展，图像处理技术在虚拟形象的应用场景越来越多，如游戏、社交等。现如今，用户提出了根据一张或多张实际拍摄的目标人物的二维(2Dimensions，2D)人脸图片生成该目标人物的二维虚拟人脸形象的需求。为了提高虚拟人脸形象的逼真度，在虚拟人脸形象的实际渲染过程中，除了需要目标人物的人脸图片，往往还借助目标人物的脸型、五官等三维(3Dimensions，3D)人脸参数。

传统方式主要是利用标注有三维人脸参数的二维人脸图片对三维人脸重建网络进行训练，后续基于该三维人脸重建网络输出的三维人脸参数渲染生成虚拟人脸形象。然而，这种方式需要进行大量标注，使网络训练效率降低，进而影响虚拟人脸形象生成效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高网络训练效率及虚拟人脸形象生成效果的三维人脸重建网络训练及虚拟人脸形象生成方法、装置、计算机设备和存储介质。

一种三维人脸重建网络训练方法，所述方法包括：

获取二维人脸样本图片；

通过待训练的三维人脸重建网络从所述二维人脸样本图片中提取三维人脸样本参数；

将三维人脸样本参数输入渲染器模拟网络进行映射处理，得到虚拟人脸形象；

将所述虚拟人脸形象及所述二维人脸样本图片分别输入人脸一致性网络进行特征提取，计算得到所述虚拟人脸形象相对所述二维人脸样本图片的特征损失值；

基于所述特征损失值调整所述三维人脸重建网络的参数并继续训练，直至满足训练结束条件时结束训练。

一种三维人脸重建网络训练装置，所述装置包括：

样本获取模块，用于获取二维人脸样本图片；

特征提取模块，用于通过待训练的三维人脸重建网络从所述二维人脸样本图片中提取三维人脸样本参数；

损失衡量模块，用于将三维人脸样本参数输入渲染器模拟网络进行映射处理，得到虚拟人脸形象；将所述虚拟人脸形象及所述二维人脸样本图片分别输入人脸一致性网络进行特征提取，计算得到所述虚拟人脸形象相对所述二维人脸样本图片的特征损失值；

网络训练模块，用于基于所述特征损失值调整所述三维人脸重建网络的参数并继续训练，直至满足训练结束条件时结束训练。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取二维人脸样本图片；

通过待训练的三维人脸重建网络从所述二维人脸样本图片中提取三维人脸样本参数；

将三维人脸样本参数输入渲染器模拟网络进行映射处理，得到虚拟人脸形象；

将所述虚拟人脸形象及所述二维人脸样本图片分别输入人脸一致性网络进行特征提取，计算得到所述虚拟人脸形象相对所述二维人脸样本图片的特征损失值；