[发明专利]一种基于生成对抗网络的多姿态人脸图像正面化方法

权利要求书

1.一种基于生成对抗网络的多姿态人脸图像正面化方法，其特征在于，包括以下步骤：

1)收集各个姿态的人脸图像作为训练集和测试集，必须确保输入的每一张任意姿态的人脸图像I^a，都能在数据集中找到同一人物非合成的正脸图像I^g；

2)在训练阶段，把训练集中的任意姿态的人脸图像I^a输入生成器G，得到修正编码X₂和合成的正脸图像I^f，把非合成的正脸图像I^g输入生成器G，得到正脸编码X₃；

3)把合成的正脸图像I^f或非合成的正脸图像I^g输入判别网络D，判别网络D判断输入的人脸图像是合成的还是非合成的，再把合成的正脸图像I^f或非合成的正脸图像I^g输入人脸身份特征提取器F，通过F提取人脸图像的人物身份特征；

4)把步骤3)的判别结果和提取的人物身份特征、合成的正脸图像I^f、非合成的正脸图像I^g、修正编码X₂和正脸编码X₃带入各个预先设计好的损失函数，交替训练生成器G和判别网络D直至训练结束；

5)在测试阶段，把任意姿态的人脸图像I^a输入已经训练完成的生成器G，能够得到一张合成的正脸图像I^f，通过直接观测合成的正脸图像I^f的质量来验证效果。

2.根据权利要求1所述的一种基于生成对抗网络的多姿态人脸图像正面化方法，其特征在于：在步骤1)中，所述数据集使用的各个姿态的人脸图像全部来源于数据集Multi_Pie；数据集中的图片数目超过75万，包含了337个人的20种光照和15种姿态下的图像；图片的光照由光照标号01到20从暗变亮，其中光照标号07为标准光照条件；把数据集所有人脸图像标记为I^a，对每一张图像I^a，在数据集中找到同一个人、人脸偏转角为0°并且光照标号为07的图像，把它们标记为I^g。

3.根据权利要求1所述的一种基于生成对抗网络的多姿态人脸图像正面化方法，其特征在于：在步骤2)中，所述生成器G由姿态估算器P、编码器En，编码残差网络R和解码器De组成；所述姿态估算器P采用了PnP算法估算人脸姿态，进而求取人脸在yaw方向上的偏转角，由开源的opencv库的函数cv2.solvePnP()实现；所述编码器En是卷积神经网络，所述编码残差网络R是两层全连接神经网络，所述解码器De是反卷积神经网络；

所述生成器G合成图片的过程为：对生成器G输入任意姿态的人脸图像I^a，编码器En把它转化为初始编码X₁，编码残差网络R通过初始编码X₁估算出编码残差R(X₁)，姿态估算器P求取输入图像中人脸在yaw方向上的精确偏转角度γ，偏转角γ输入函数Y，得到编码残差的权重Y(γ)，初始编码X₁和编码残差融合得到修正编码X₂，其中X₂＝X₁+Y(γ)×R(X₁)，把修正编码X₂输入到解码器De，通过反卷积生成正脸图像I^f。

4.根据权利要求1所述的一种基于生成对抗网络的多姿态人脸图像正面化方法，其特征在于：在步骤3)中，所述判别网络D是一个以卷积神经网络为基础的二分类器，用来判断输入的图像来源于生成器G还是原始图像数据；所述人脸身份特征提取器F采用已经开源的Light-CNN-29，Light-CNN29是一个轻量级卷积神经网络，深度为29层，参数数量有1200万。