[发明专利]一种基于生成对抗网络的侧脸图片生成正脸图片的方法

权利要求书

1.一种基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，具体包括以下步骤：

(1)收集侧脸图片和对应的正脸图片，将每张侧脸图片I^P划分成侧脸感官图片集将对应的正脸图片I^F划分成正脸感官图片集并标记出正脸的轮廓特征点K^F和对应的感官位置L^F；所述感官包括：左眼、右眼、嘴巴和鼻子；

(2)将侧脸图片I^P和侧脸感官图片集分别输入生成对抗网络中，训练生成对抗网络，当判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练；

所述生成对抗网络的训练过程具体包括如下步骤：

(2.1)将侧脸图片I^P输入轮廓生成器中，生成预测正脸轮廓图片将侧脸感官图片集输入感官生成器中，生成预测正脸感官图片集

(2.2)将步骤(2.1)生成的预测正脸轮廓图片和预测正脸感官图片集输入融合网络中进行融合，生成预测正脸图片I^pred，将预测正脸图片I^pred输入判别器中，以判别器损失函数L_{Discriminator}来判断预测正脸图片I^pred与正脸图片I^F是否属于同一种概率分布下；

(2.3)将轮廓生成器中侧脸图片I^P的高维特征作为正脸感官位置预测网络和正脸轮廓特征点预测网络的输入，输出预测正脸感官位置L^pred和预测正脸轮廓特征点K^pred，以生成器损失函数L_Generator来判断预测正脸感官位置L^pred与正脸感官位置L^F的相似度以及判断预测正脸轮廓特征点K^pred与正脸的轮廓特征点K^F的相似度，并且判断融合生成的正脸图片I^pred和真实的正脸图片I^F的相似度；

(2.4)将不同的侧脸图片I^P和对应的侧脸感官图片集以及与之对应的正脸图片I^F，正脸感官和轮廓及感官位置K^F、L^F输入生成对抗网络中重复步骤(2.1)-(2.3)，训练生成对抗网络，直至判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练；

(3)再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。

2.根据权利要求1所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述生成对抗网络包括感官生成器、轮廓生成器、融合网络、正脸感官位置预测网络、正脸轮廓特征点预测网络和判别器；所述感官生成器、轮廓生成器均与融合网络连接，所述融合网络与判别器连接，所述轮廓生成器分别与正脸感官位置预测网络、正脸轮廓特征点预测网络连接。

3.根据权利要求1所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述判别器损失函数L_{Discriminator}为：

其中，D()为判别器，K²表示为将输入判别器的图片划分为区块的个数，G(I^P)为生成器生成的正脸图片，为侧脸图像分布期望，为正脸图像分布期望。

4.根据权利要求1所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述生成器损失函数L_Generator为：

L_Generator＝L_pix+λ₁L_Id+λ₂L_Loc+λ₃L_adv

其中，L_pix为像素损失函数，L_Id为身份损失函数，λ₁为身份损失函数对应的系数，取值为0.3；L_Loc为位置损失函数，λ₂为位置损失函数对应的系数，取值为0.01；L_adv为对抗损失函数，λ₃为对抗损失函数对应的系数，取值为0.001。