[发明专利]一种基于内容特征和风格特征的人脸图像生成方法

说明书

本发明提供一种基于内容特征和风格特征的人脸图像生成方法，包括以下步骤：S1：获取人脸图像数据集，并构建双路径生成式对抗网络模型；S2：从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；S3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；S4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；S5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。本发明提供一种基于内容特征和风格特征的人脸图像生成方法，解决了现有的人脸图像生成技术无法保证生成的人脸图像保持输入人脸图像的身份的问题。

技术领域

本发明涉及人脸图像生成技术领域，更具体的，涉及一种基于内容特征和风格特征的人脸图像生成方法。

背景技术

现有的生成式对抗网络(GAN)模型的生成器基本上都是基于编码器-解码器结构或者变种，如Pix2PixGAN、CycleGAN，DRGAN和TPGAN等等。基于编码器-解码器结构下的图像到图像的深度网络，编码器最终将输入的图像编码压缩到一个比原来图像的维数更小的特征上，由于这个过程伴随着图像大量的信息和细节的丢失，最终在特征上保留下来的信息往往是与最终生成图像最相关的信息；解码器将这个中间特征的信息进行解析和补充，最终生成基于输入图像某种信息相关的生成图片，这种信息(中间特征的语义)一般指是人脸相互区别的特征，如人脸身份信息。

目前图像风格迁移成功引入到人脸图像生成技术领域，并与GAN相结合十分出色地完成了人脸生成任务。人脸风格迁移认为人脸图像由图像内容信息(content)和图像风格信息(style)两部分信息组成。但是这两部分信息的界限没有严格的定义，按照不同的场景下有所区别，在人脸风格区别明显的场景下，图像内容信息可以定义人脸图像高层语义信息即人脸身份。但是现有的人脸图像生成技术生成人脸的风格单一，无法保证生成的人脸图像保持输入人脸图像的身份。

现有技术中，如2019-03-22公开的中国专利，一种基于生成对抗式网络的人脸表情识别方法，公开号为CN109508646A，识别方法精确度高，不易出错，能够在光线较差的环境下进行人脸图像精确识别，但是无法保证生成的人脸图像保持输入人脸图像的身份。

发明内容

本发明为克服现有的人脸图像生成技术无法保证生成的人脸图像保持输入人脸图像的身份的技术缺陷，提供一种基于内容特征和风格特征的人脸图像生成方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于内容特征和风格特征的人脸图像生成方法，包括以下步骤：

S1：获取人脸图像数据集，并构建双路径生成式对抗网络模型，其中所述人脸图像数据集包括原始域人脸图像和目标域人脸图像；

S2：利用双路径生成式对抗网络模型从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；

S3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；

S4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；

S5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。

优选的，所述双路径生成式对抗网络模型包括原始域编码器E_X、目标域编码器E_Y、原始域生成器G_X、目标域生成器G_Y、原始域鉴别器D_X、目标域鉴别器D_Y和特征关联模型；

其中，

所述原始域编码器E_X包括用于提取原始域X的内容特征的编码器和用于提取原始域X的风格特征的编码器