[发明专利]一种基于生成对抗网络改进结构的偏转人脸转正方法

说明书

本发明公开了一种基于生成对抗网络改进结构的偏转人脸转正方法，训练时需要许多偏转人脸与对应正面人脸构成的人脸对，测试时可仅需要偏转人脸。处理步骤为：(1)对人脸进行特征点检测，并提取固定大小的人脸区域分块(双眼、鼻部、嘴部)；(2)将步骤1中的人脸区域分块与整体人脸分别输入局部通道和整体通道，得到两者转正后的结果；(3)将局部通道和整体通道的输出进行融合，将重叠区域的像素设定为该区域上的最大值，得到最终的生成人脸；(4)将生成人脸与正面人脸输入判别器和分类器中，保证生成人脸的准确性和身份一致；(5)将训练得到的网络模型保存，以用于测试。本发明采用的BEGAN网络结构简单又高效，对偏转人脸转正的准确度和速度都有一定的提高。

技术领域

本发明涉及一种基于生成对抗网络改进结构的偏转人脸转正方法，属于计算机视觉的领域。

背景技术

随着深度学习的不断发展，对人脸识别的研究取得了许多突破性的进展。基于深度学习的识别算法甚至超过了人类肉眼的水平，然而这些研究大多是在正面人脸或者近似正面人脸的前提下，因此这些研究都存在着一定的局限性。有证据显示，即使是表现最优异的正面人脸识别方法，在大角度偏转情况下识别率也会大大下降。针对姿态变化下的人脸识别，现有的方法大致可以分为以下三类：基于对姿态鲁棒的特征提取方法，基于正面人脸生成的方法以及基于子空间分析的方法。

对第一种方法而言，传统的特征提取方法主要是利用一些鲁棒的局部描述子，比如Gabor特征、SIFT特征、LBP特征等，最新改进的方法利用深度学习来提取特征,如LightCNN、Facenet结构提取特征，但这两类提取特征的方法都无法有效地处理姿态偏转较大的情形。对第三种方法而言，线性子空间难以表达出人脸姿态变化过程中的非线性，而非线性子空间的学习则往往伴随着训练复杂的问题。因此，本发明主要研究第二种方法——基于正面人脸生成的方法。早期的研究通过建立三维人脸模型来实现，对特征点的要求较高，特别是在人脸偏转角度稍大时，二维人脸图片中有些特征点不可见，有着一定的局限性。

与利用三维人脸模型进行人脸生成的方法相比，利用生成对抗网络进行人脸转正是一大趋势，取得了令人兴奋的成绩。目前针对利用生成对抗网络进行人脸转正的方法可分成二维方法和三维方法。其中二维方法有TP-GAN和PIM，三维方法则主要是将三维人脸形变模型(3DMM)应用到生成对抗网络中，通过它得到形状和纹理参数，为人脸结构的精准恢复提供先验。由于人脸结构是一个复杂的三维立体结构，二维方法由于缺乏约束导致实现难度较大，因此二维方法往往采用人脸轮廓和人脸细节进行生成的双路径网络结构，并且建立一系列监督损失函数来提供对人脸结构的约束，比如保持生成人脸的对称性建立的约束等等。

此外，在二维方法和三维方法中，往往都添加了一个特征提取模块来保持转正前后的身份一致性，其中人脸特征提取结构Light-CNN在时间和空间复杂度上都有较好的表现，因此得到了广泛使用。

发明内容

发明目的：针对以上问题，在二维方法进行人脸转正的方法TP-GAN中，针对TP-GAN采用的生成对抗网络DCGAN结构存在诸多的训练困难、易产生模式崩溃的问题，并且其对人脸采集多尺度图像，使得训练过程相对来说比较复杂，本发明提出了一种基于生成对抗网络改进结构的偏转人脸转正方法。

本方法首先在双路径的传统二者对抗的生成对抗网络结构的基础上，通过引入第三个对抗结构——分类器来保持生成前后人脸的身份一致性，此外，本发明不再使用TP-GAN中采用的DCGAN网络结构，而是引入BEGAN网络结构，该结构可以有效地避免传统GAN训练复杂、收敛困难的问题。实践证明本方法能更好保持人脸转正前后的身份一致性，生成的正面人脸具有更高的质量，同时本方法大大降低了网络训练难度，提高了训练效率。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于生成对抗网络改进结构的偏转人脸转正方法，该方法包括以下步骤：

步骤1，对输入偏转人脸Iⁱⁿ进行特征点检测，并提取固定大小的人脸区域分块，即双眼、鼻部、嘴部；