[发明专利]一种基于生成对抗网络的多姿态人脸图像正面化方法

说明书

本发明公开了一种基于生成对抗网络的多姿态人脸正面化方法，在训练阶段，首先收集各种姿态的人脸图片作为数据集，然后输入多组同一人的正脸图像和非正脸图像，通过新设计的损失函数，交替训练生成网络和判别网络，直到损失函数的值稳定收敛。在训练完成后的测试阶段，对输入的各种姿态人脸图片，本发明都可以将它们矫正成正脸图像。矫正后的图像不仅清晰，并且保留了原人脸的身份特征，可以用于人脸识别工作。本发明将有效减缓姿态因素对人脸识别造成的负面影响，有利于非限制条件下人脸识别实际应用的发展。

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于生成对抗网络的多姿态人脸图像正面化方法。

背景技术

目前，人脸识别技术已经广泛应用于门禁安保、网络社交和金融等诸多领域。但是，在绝大多数的实际场景中，人脸识别技术需要在严格标准的环境下才能高效使用。通常，被检测人需要身处光照充足均匀的场景，保持平静的表情，配合图像采集装置调整标准的姿态。然而在不少的实际应用领域，如嫌犯追踪，以上的条件往往很难满足，这导致了不少人脸识别技术的性能大幅度下降，人脸识别技术难以在这些领域推广。在影响人脸识别技术性能的不利因子中，照片人脸的姿态是最重要的。处理好姿态问题，人脸识别技术在非限制环境下的应用将会跨出一大步。

处理姿态问题的其中一种方法是对输入的侧脸图像做正面化矫正，即把一张侧脸图像矫正成为同一人物的正脸图像，然后对合成的正脸图像进行人物身份的识别。目前大部分的多姿态人脸图像正面化方法缺乏对偏转角超过60°人脸图像的处理能力，它们合成的人脸图像具有严重的形变并且会丢失人物的身份特征，导致后续的人脸识别工作难以进行。目前效果较好的多姿态人脸图像正面化方法基本上是以生成对抗网络为基础的。

相比于其他基于生成对抗网络的多姿态人脸图像正面化方法，本发明采用了不同的网络结构和损失函数。即使输入了偏转角超过60°的人脸图像，本模型也能够合成逼真的人脸图像并且保留更多的人物身份信息，大幅度提高了后续人脸识别工作的效率。

发明内容

本发明目的在于克服现有多姿态人脸图像正面化方法的不足，提出了一种基于生成对抗网络的多姿态人脸图像正面化方法，解决同类方法在输入人脸偏转角超过60°的情况下效果不佳的问题，提高了合成人脸的逼真度，保留了更多图像人脸的身份信息。

为了实现上述目的，本发明提供的技术方案为：一种基于生成对抗网络的多姿态人脸图像正面化方法，包括以下步骤：

1)收集各个姿态的人脸图像作为训练集和测试集，必须确保输入的每一张任意姿态的人脸图像I^a，都能在数据集中找到同一人物非合成的正脸图像I^g；

2)在训练阶段，把训练集中的任意姿态的人脸图像I^a输入生成器G，得到修正编码X₂和合成的正脸图像I^f，把非合成的正脸图像I^g输入生成器G，得到正脸编码X₃；

3)把合成的正脸图像I^f或非合成的正脸图像I^g输入判别网络D，判别网络D判断输入的人脸图像是合成的还是非合成的，再把合成的正脸图像I^f或非合成的正脸图像I^g输入人脸身份特征提取器F，通过F提取人脸图像的人物身份特征；

4)把步骤3)的判别结果和提取的人物身份特征、合成的正脸图像I^f、非合成的正脸图像I^g、修正编码X₂和正脸编码X₃带入各个预先设计好的损失函数，交替训练生成器G和判别网络D直至训练结束；

5)在测试阶段，把任意姿态的人脸图像I^a输入已经训练完成的生成器G，能够得到一张合成的正脸图像I^f，通过直接观测合成的正脸图像I^f的质量来验证效果。