[发明专利]可控人脸合成方法、装置、电子设备及存储介质

说明书

本申请公开了一种可控人脸合成方法、装置、电子设备及存储介质，其中，方法包括：获取至少一张人脸在styleGAN模型中的隐空间向量；从隐空间向量中解耦至少一张人脸的标识信息和差异信息；控制标识信息不变的同时，随机变化差异信息，生成人脸可控合成结果。由此，解决了相关技术中人脸属性的丰富度较低，导致生成的人脸与真实人脸相比缺乏变化，难以满足应用需求的技术问题。

技术领域

本申请涉及深度学习和图像处理技术领域，特别涉及一种可控人脸合成方法、装置、电子设备及存储介质。

背景技术

深度人脸生成技术是一种能够从随机向量生成具有真实感的人脸图像的技术，styleGAN是目前SOTA(State of the Art，最先进的)的深度生成网络模型。基于styleGAN，很多工作研究了如何控制生成人脸的各种属性(比如DiscoFaceGAN，styleRig等)。

3DMM(3D Morphable Model，3D形变模型)是一种人脸的参数化模型，能够从人脸图像中提取人脸的形状和纹理等参数，进一步得到人脸的ID和表情等属性信息，3DMM模型可以广泛应用于用于人脸的三维重建等工作中。

然而，相关技术中，虽然能够控制人脸的不同属性，但是这些属性的丰富度不高，导致了生成的人脸与真实人脸相比缺乏变化，难以满足应用需求，有待改善。

发明内容

本申请提供一种可控人脸合成方法、装置、电子设备及存储介质，以解决相关技术中人脸属性的丰富度较低，导致生成的人脸与真实人脸相比缺乏变化，难以满足应用需求的技术问题。

本申请第一方面实施例提供一种可控人脸合成方法，包括以下步骤：获取至少一张人脸在styleGAN模型中的隐空间向量；从所述隐空间向量中解耦所述至少一张人脸的标识信息和差异信息；以及控制所述标识信息不变的同时，随机变化所述差异信息，生成人脸可控合成结果。

可选地，在本申请的一个实施例中，所述从所述隐空间向量中解耦所述至少一张人脸的标识信息和差异信息，包括：利用预先训练的AutoEncoder模型从所述隐空间向量解耦所述至少一张人脸的标识信息。

可选地，在本申请的一个实施例中，在解耦所述至少一张人脸的标识信息之前，还包括：任选两张人脸的隐空间向量；将所述两张人脸的隐空间向量输入至所述AutoEncoder模型的编码器，分别生成表示标识和差异的第一标识向量、第二标识向量、第一差异向量和第二差异向量；将所述第一标识向量和所述第二标识向量及所述第一差异向量和所述第二差异向量互换，并输入至所述AutoEncoder模型的解码器，生成所述两张人脸的新隐空间向量的同时，将所述两张人脸的隐空间向量输入至所述解码器中，得到所述两张人脸的重建隐空间向量，以达到约束在所述人脸识别模型的判定下为同一个人，得到所述预先训练的AutoEncoder模型。

可选地，在本申请的一个实施例中，所述控制所述标识信息不变的同时，随机变化所述差异信息，生成人脸可控合成结果，包括：分别里利用对应的VAE(Variational AutoEncoder，变分自编码器)模型将所述标识信息和差异信息编码至高斯分布，以获取高斯分布采样结果；基于所述高斯分布采样结果生成所述人脸可控合成结果。

本申请第二方面实施例提供一种可控人脸合成装置，包括：获取模块，用于获取至少一张人脸在styleGAN模型中的隐空间向量；解耦模块，用于从所述隐空间向量中解耦所述至少一张人脸的标识信息和差异信息；以及合成模块，用于控制所述标识信息不变的同时，随机变化所述差异信息，生成人脸可控合成结果。

可选地，在本申请的一个实施例中，所述解耦模块包括：解耦单元，用于利用预先训练的AutoEncoder模型从所述隐空间向量解耦所述至少一张人脸的标识信息。