[发明专利]一种基于生成对抗网络的旋转面部表示学习的方法

说明书

技术领域

本发明涉及旋转面部领域，尤其是涉及了一种基于生成对抗网络的旋转面部表示学习的方法。

背景技术

旋转面部广泛应用于抓捕、测谎、人群搜索、建模等领域。具体地，在抓捕领域，抓捕逃犯时，利用公共监控图像的侧面图像，通过旋转生成逃犯正面图像，可以提高抓捕效率。而在测谎领域，由于测谎过程的特殊性，摄像头没有直接指示对象，此时通过对面部图像的旋转，可以获得人物的正面表情和姿态。在人群搜索领域，把图像从侧面旋转为正面图像，进一步明确搜索目标。另外，在建模领域，利用侧面图像，旋转后可以生成建模。由于日常生活中，很多情况下都无法获得人脸正面图，并且受光照，尺寸，姿态等因素影响，要准确进行面部旋转尚且存在一定的挑战。

本发明提出了一种基于生成对抗网络的旋转面部表示学习的方法，基于生成对抗网络的非耦合表示学习框架(DR-GAN)，学习面部姿态。通过提供给解码器一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并可以生成针对该人的任意数量的不同姿态下的合成图像。本发明提出了一个基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，使DR-GAN学习到同时具备生成性和判别性的特征表示，用于旋转面部和人脸识别，为建模领域的新设计，以及测谎领域的创新解决方案做了进一步贡献。

发明内容

针对旋转面部，提出了一个基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，使基于生成对抗网络的非耦合表示学习框架学习到同时具备生成性和判别性的特征表示，并用于旋转面部和人脸识别，为安防领域的新设计，以及医疗领域的创新解决方案做了进一步贡献。

为解决上述问题，本发明提供一种基于生成对抗网络的旋转面部表示学习的方法，其主要内容包括：

(一)基于生成对抗网络的非耦合表示学习框架；

(二)通过转换模型改进任何姿态下的面部图像；

(三)通过表示插值改进目标姿态的面部合成。

其中，所述的基于生成对抗网络的非耦合表示学习框架，生成器由编码器和解码器组成，可以使基于生成对抗网络的非耦合表示学习框架(DR-GAN)学习同时具备生成性和判别性的特征表示，并用于人脸生成和人脸识别，给解码器提供一个姿态编码，并在判别器中增加姿态估计约束，DR-GAN学习到的特征表示显式地分离了人脸的姿态变化特征，DR-GAN采用某个人的一张或者多张人脸图像作为输入，生成一个统一的身份特征表示，并生成针对该人的任意数量的不同姿态下的合成图像，单图像DR-GAN可以为每个训练目标拍摄一幅图像，多图像DR-GAN在单图像网络结构上做出对应修改后，利用每个目标的多个图像进行训练和测试。

其中，所述的生成对抗网络，由一个生成器G和一个判别器D组成，通过生成器G和判别器D产生样本数据分布，判别器D尝试区分真实图像x和合成图像G(z)，发生器G尝试从随机噪声向量z合成逼真的图像，令判别器D把G(z)判定为真实图像，D和G用以下损失函数进行博弈：

当合成样本的分布p_g与真实样本的分布p_d相同时，这种博弈对策具有全局最优解，p_g收敛于p_d，培训开始时，G产生的样本太差，被高可信度的D抑制，之后的实践中，采用最大化的log(D(G(z)))代替最小化的log(1-D(G(z)))，导致G和D有相同的动态固定点，为其在学习早期提供更强的梯度，

利用训练后的G和D优化上式目标。