[发明专利]一种基于生成对抗网络的旋转面部表示学习的方法

权利要求书

1.一种基于生成对抗网络的旋转面部表示学习的方法，其特征在于，主要包括基于生成对抗网络的非耦合表示学习框架(一)；通过转换模型改进任何姿态下的面部图像(二)；通过表示插值改进目标姿态的面部合成(三)。

2.基于权利要求书1所述的基于生成对抗网络的非耦合表示学习框架(一)，其特征在于，生成器由编码器和解码器组成，可以使基于生成对抗网络的非耦合表示学习框架(DR-GAN)学习同时具备生成性和判别性的特征表示，并用于人脸生成和人脸识别，给解码器提供一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并生成针对该人的任意数量的不同姿态下的合成图像，单图像DR-GAN可以为每个训练目标拍摄一幅图像，多图像DR-GAN在单图像网络结构上做出对应修改后，利用每个目标的多个图像进行训练和测试。

3.基于权利要求书2所述的生成对抗网络，其特征在于，生成式对抗网络由一个生成器G和一个判别器D组成，通过生成器G和判别器D产生样本数据分布，判别器D尝试区分真实图像x和合成图像G(z)，发生器G尝试从随机噪声向量z合成逼真的图像，令判别器D把G(z)判定为真实图像，D和G用以下损失函数进行博弈：

当合成样本的分布p_g与真实样本的分布p_d相同时，这种博弈对策具有全局最优解，p_g收敛于p_d，培训开始时，G产生的样本太差，被高可信度的D抑制，之后的实践中，采用最大化的log(D(G(z)))代替最小化的log(1-D(G(z)))，导致G和D有相同的动态固定点，为其在学习早期提供更强的梯度，

利用训练后的G和D优化上式目标。

4.基于权利要求书2所述的单图像DR-GAN，单图像DR-GAN通过使用编码器和解码器组成生成器，学习面部图像的身份表示，从解码器输入表示，再从编码器输出，由于脸的外观不仅取决于身份，还取决于姿态，照明，表情等众多干扰性变化，因此，由编码器学习的身份表示将不可避免地包括这些干扰性的侧面变化，采用编码器学习这些干扰性变化，给定一个带标签y＝{y^d,y^p}的面部图像x，其中y^d是身份标签，y^p是姿态标签，根据相同的身份y^d，由姿态代码c指定的不同的姿态合成脸部图像在原始图像x和姿态编码c上训练一个DR-GAN，其中判别器D是一个多任务卷积神经网络，由三部分组成：D＝[D^r,D^d,D^p]，用于姿态分类，N^p是离散姿态的总数，D^r作为D^d附加的第N^d+1^th个元素，给定一个面部图像x，判别器D的目的是将其归类为真实图像类，并估计其身份和姿态，给定一个来自生成器的面部合成图像通过以下目标函数，D把判断为合成图像：

其中和分别是D^d和D^P中的第i个元素，所有随机变量都从以下分布中抽样(x,y～p_d(x,y),z～p_z(z),c～p_c(c))，训练D的最终目标是所有目标的加权平均数：

令λ_g＝λ_d＝λ_p＝1。