[发明专利]一种基于重建和生成网络的人脸替换方法

权利要求书

1.一种基于重建和生成网络的人脸替换方法，其特征在于，包括如下步骤：

(1)将源人脸图像和目标人脸图像输入方位映射网络进行3D人脸重建；

(2)将步骤(1)中的源人脸模型的姿态调节源人脸的姿态至目标人脸的姿态；

(3)利用嘴部细节生成网络在步骤(2)的结果上，进行人物嘴部细节的生成；

(4)在步骤(3)的结果上利用全局锐化生成网络进行人脸整体伪影、噪声的去除，从而得到一张满足人眼无法轻易鉴别和算法无法轻易识别的人脸替换图像结果。

2.根据权利要求1所述的一种基于重建和生成网络的人脸替换方法，其特征在于：所述步骤(3)中进行人物嘴部细节的生成的具体步骤如下：

(3.1)建立一个最小二乘对抗生成网络，进行判别误差的提取；

(3.2)建立一个VGG网络进行重建误差的提取；

(3.3)对步骤(2)输出的人脸图像进行嘴部姿态特征提取；

(3.3)在训练时，生成器输入为(3.3)的嘴部姿态特征，判别器输入为生成器的输出以及目标人脸图像的嘴部图像，VGG结构的输入为生成器的输出以及目标人脸图像的嘴部图像；采用(3.1)所述的判别误差以及(3.2)所述的重建误差对网络进行训练，损失函数如下：

其中LD为判别器损失，而LG为生成器损失，而V(x)函数表示x经过VGG结构的输出，而其产生的损失称为内容损失Content Loss，而γ参数表示对抗损失Adversarial Loss的系数。

3.根据权利要求1所述的一种基于重建和生成网络的人脸替换方法，其特征在于：所述步骤(4)中利用全局锐化生成网络的具体步骤如下：

(4.1)建立一个二乘对抗生成网络，进行判别误差的提取；

(4.2)建立一个VGG网络进行重建误差的提取；

(4.3)建立一个翻译器网络，用于将人脸图像翻译为对应的语义图像，用于进行语义误差的提取；

(4.4)将原图像进行3D人脸重建，得到原始图像；

(4.5)训练时，生成器输入为(4.4)中的原始图像，判别器输入为生成器的输出以及(4.4)中的原图像，翻译器网络的输入为生成器的输出以及(4.4)中的原图像，VGG网络的输入为生成器的输出以及(4.4)中的原图像。采用(4.1)所述的判别误差、(4.2)所述的重建误差以及(4.3)所述的语义误差对网络进行训练，损失函数如下：

其中LD为判别器损失，而LG为生成器损失，而V(x)函数表示x的内容损失，P(x)函数表示x经过PR-Net产生的结果，T(x)函数表示翻译器输出的结果，此处称其产生的损失为语义损失；系数α、β分别为对抗损失和重构损失的系数。