[发明专利]一种基于内容特征和风格特征的人脸图像生成方法

权利要求书

1.一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，包括以下步骤：

S1：获取人脸图像数据集，并构建双路径生成式对抗网络模型，其中所述人脸图像数据集包括原始域人脸图像和目标域人脸图像；所述双路径生成式对抗网络模型包括原始域编码器、目标域编码器、原始域生成器、目标域生成器、原始域鉴别器、目标域鉴别器和特征关联模型；

其中，

所述原始域编码器包括用于提取原始域的内容特征的编码器和用于提取原始域的风格特征的编码器，

所述目标域编码器包括用于提取目标域的内容特征的编码器和用于提取目标域的风格特征的编码器，

所述原始域生成器用于融合原始域的内容特征和风格特征并生成原始域生成人脸图像，

所述目标域生成器用于融合目标域的内容特征和风格特征并生成目标域生成人脸图像，

所述原始域鉴别器用于鉴别原始域生成人脸图像的真假，

所述目标域鉴别器用于鉴别目标域生成人脸图像的真假，

所述特征关联模型用于对内容特征和风格特征进行监督学习建立特征关联损失函数，并根据特征关联损失函数对内容特征进行预测得到相应的风格特征；

S2：利用双路径生成式对抗网络模型从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；

S3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；

S4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；在建立双路径生成式对抗网络模型的价值函数之前，还包括建立内容和风格特征双循环重建损失函数，所述内容和风格特征双循环重建损失函数为：

其中，是正反循环重建损失的比例参数，表示原始域再编码得到的风格特征，表示目标域再编码得到的风格特征，表示原始域再编码得到的内容特征，表示目标域再编码得到的内容特征；

所述双路径生成式对抗网络模型的价值函数为：

其中，是对相应项的权重超参数，表示双路径生成式对抗网络模型，为生成式对抗网络的对抗损失函数，为人脸内容重建损失函数，为人脸风格重建损失函数，为图像自重建损失函数，为内容和风格特征双循环重建损失函数，为特征关联损失函数；

S5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。

2.根据权利要求1所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，步骤S3中建立的特征关联损失函数为：

其中，表示原始域的内容特征和风格特征的联系，表示目标域的内容特征和风格特征的联系，表示取范数操作，表示原始域人脸图像满足原始域的真实数据分布，表示目标域人脸图像满足原始域的真实数据分布。

3.根据权利要求2所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，当利用损失对编码器进行优化时，将修改为：

。

4.根据权利要求1所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立图像自重建损失函数，所述图像自重建损失函数为：

其中，为随机风格特征。

5.根据权利要求1所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立生成式对抗网络的对抗损失函数，所述生成式对抗网络的对抗损失函数包括生成器的对抗损失函数和鉴别器的对抗损失函数；其中，

生成器的对抗损失函数为：

鉴别器的对抗损失函数为：

其中，表示目标域相关的随机风格特征满足高斯数据分布，表示原始域相关的随机风格特征满足高斯数据分布。

6.根据权利要求1所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立人脸内容重建损失函数，所述人脸内容重建损失函数为：

。

7.根据权利要求1所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，在建立双路径生成式对抗网络模型的价值函数之前，还包括建立人脸风格重建损失函数，所述人脸风格重建损失函数为：

。