[发明专利]换脸方法、装置、电子设备和存储介质

权利要求书

1.一种换脸方法，其特征在于，包括：

确定源人脸图像和目标人脸图像；

将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像；

所述人脸生成器是基于样本图像对，与人脸判别器对抗训练得到的，所述人脸判别器用于对所述样本图像对及其样本换脸图像进行真伪判别，所述样本换脸图像是所述人脸生成器基于所述样本图像对进行换脸得到的；

所述人脸生成器包括解耦表示模块和语义融合模块；

所述将所述源人脸图像和目标人脸图像输入至人脸生成器中，得到所述人脸生成器输出的换脸图像，包括：

将所述源人脸图像和目标人脸图像输入至所述解耦表示模块，得到所述解耦表示模块输出的所述源人脸图像的身份编码和所述目标人脸图像的属性编码；

将所述源人脸图像的身份编码和所述目标人脸图像的属性编码输入至所述语义融合模块，由所述语义融合模块基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，得到所述语义融合模块输出的所述换脸图像；

所述语义信息包括人脸语义分割图和人脸关键点图；

所述基于所述目标人脸图像的语义信息，融合所述源人脸图像的身份编码和所述目标人脸图像的属性编码，包括：

应用反归一化层替换所述语义融合模块中残差块的归一化层，通过反归一化的形式顺次将目标人脸图像的人脸语义分割图的编码、源人脸图像的身份编码，以及目标人脸图像的人脸关键点图的编码注入目标人脸图像的属性编码。

2.根据权利要求1所述的换脸方法，其特征在于，所述人脸生成器是基于如下步骤确定的：

将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对；

将所述样本图像对及其换脸图像对中的各图像分别输入至所述人脸判别器中，得到所述人脸判别器的判别结果；

基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值；

基于所述损失函数值更新所述初始生成器，得到所述人脸生成器。

3.根据权利要求2所述的换脸方法，其特征在于，所述将所述样本图像对输入至初始生成器中，得到所述初始生成器输出的重建图像对和换脸图像对，包括：

将所述样本图像对输入至初始生成器中，由所述初始生成器分别提取所述样本图像对中两张样本图像的身份编码和属性编码，并基于同一样本图像的身份编码和属性编码重建图像，基于不同样本图像的身份编码和属性编码合成图像，得到所述初始生成器输出的重建图像对和换脸图像对。

4.根据权利要求2所述的换脸方法，其特征在于，所述基于所述样本图像对及其重建图像对、换脸图像对和判别结果，确定损失函数值，包括：

基于身份保持损失值、属性保持损失值和重建损失值中的至少一种，以及对抗损失值，确定所述损失函数值；

其中，所述身份保持损失值是基于所述样本图像对和所述换脸图像对中各图像的身份编码确定的；

所述属性保持损失值是基于所述样本图像对和所述换脸图像对中各图像的属性编码确定的；

所述重建损失值是基于所述样本图像对和所述重建图像对确定的；

所述对抗损失值是基于所述判别结果确定的。