[发明专利]一种基于重建和生成网络的人脸替换方法

说明书

本发明公开了一种基于重建和生成网络的人脸替换方法，步骤如下：将源人脸图像和目标人脸图像输入方位映射网络进行3D人脸重建，并调节源人脸的姿态至目标人脸的姿态；利用嘴部细节生成网络进行人物嘴部细节的生成；利用全局锐化生成网络进行人脸整体伪影、噪声的去除，从而得到一张满足人眼无法轻易鉴别和算法无法轻易识别的人脸替换图像结果。本发明能够在仅有一对源人脸图像和目标人脸图像的基础上生成逼真的人脸替换结果，提高了人脸替换方法的效率，适合生成不同身份的、大量的人脸替换结果，为人脸伪造检测算法提供大量的对抗样本。

技术领域

本发明属于自动控制领域，特别涉及一种基于重建和生成网络的人脸替换方法。

背景技术

人脸替换(face swap)是人脸编辑中一个比较热门的研究课题。本文主要关注高质量的、用于身份替换的人脸替换。所谓高质量的人脸替换，指的是人眼以及计算机判别器算法无法轻易识别出破绽的人脸替换图像，而用于身份替换的人脸替换指的是将源人像中人物的身份迁移到目标人像的人物上，并维持目标人像的其他特征不变。

目前主流的人脸替换方法为DeepFakes类方法，它主要有以下几种思路：基于卷积网络的人脸替换是一款基于深度学习的人脸替换方法，它设计了一系列的卷积网络来解决人脸替换时所需要面临的各种问题，比如姿态、肤色、光照等等，但是人脸替换结果的表现取决于这些网络的任务设计，设计欠佳会导致伪造痕迹较为明显。另一种DeepFakes方法主要以基于自编码模型的人脸替换为主，先设计两对自编码器结构对源人像集合和目标人像集合分别进行自监督训练，再将两个解码器交换进行测试，表现相较于先前的方法有了较大的改进，尤其是引入GAN网络后的DeepFaceLab方法，其已经可以生成较为逼真的伪造结果，但是从一些实验样本中可以看出身份保持性不佳，并且由于算法设计的原因，DeepFakes类方法需要大量源人像和目标人像来进行训练，并且对于不同的源身份需要分别进行训练。

另一种人脸替换方法是基于3D人脸重建的人脸替换，但是由于其缺乏对3D重建后贴图操作的处理，导致其伪造痕迹仍旧较为明显。

DeepFakes类方法的生成人脸替换结果效率低下，而基于3D人脸重建类方法缺乏对贴图的有效处理。

发明内容

发明目的：针对现有技术存在的问题，提供一种基于重建和生成网络的人脸替换方法，高质量、高效率，并适合生成大规模对抗样本集。

技术方案：为解决上述技术问题，本发明提供一种基于重建和生成网络的人脸替换方法，包括如下步骤：

(1)将源人脸图像和目标人脸图像输入方位映射网络进行3D人脸重建。

(2)将步骤(1)中的源人脸模型的姿态调节源人脸的姿态至目标人脸的姿态。

(3)利用嘴部细节生成网络在步骤(2)的结果上，进行人物嘴部细节的生成。

(4)在步骤(3)的结果上利用全局锐化生成网络进行人脸整体伪影、噪声的去除，从而得到一张满足人眼无法轻易鉴别和算法无法轻易识别的人脸替换图像结果。

进一步的，所述的一种基于重建和生成网络的人脸替换方法，其特征在于：通过步骤(3)中嘴部细节生成网络的训练步骤如下：

(3.1)建立一个最小二乘对抗生成网络，进行判别误差的提取。

(3.2)建立一个VGG网络进行重建误差的提取。

(3.3)对步骤(2)输出的人脸图像进行嘴部姿态特征提取。

(3.3)在训练时，生成器输入为(3.3)的嘴部姿态特征，判别器输入为生成器的输出以及目标人脸图像的嘴部图像，VGG结构的输入为生成器的输出以及目标人脸图像的嘴部图像。采用(3.1)所述的判别误差以及(3.2)所述的重建误差对网络进行训练，损失函数如下：