[发明专利]一种基于单张人脸图像的全头部纹理网络结构及生成方法

说明书

本发明提供了一种基于单张人脸图像的全头部纹理网络结构及生成方法，以单张人脸图像为输入条件，利用设计的生成对抗网络获得对应个体的全头部纹理图，通过三维人脸的先验知识获取输入人脸图像的身份、表情及纹理特征信息，使用变分自编码器将获取的人脸特征信息作为约束来控制GAN网络的纹理生成过程，最后将输入的人脸图像利用两个性质不同的鉴别器与生成的纹理图进行人脸特征点检测反馈，从而得到更真实更符合原图像的全头部纹理图。本发明与输入图像可以保持97％以上的相似度，保持了人脸原有的主要细节。本发明生成的全头部纹理图保持了身份和表情的准确性，并精确的推断出原始图像中不可见区域的纹理信息。

技术领域

本发明涉及图像处理和深度学习领域，尤其是一种单张人脸图像的全头部纹理生成方法。

背景技术

随着深度学习技术深入的应用到人脸图像和人脸三维模型处理，目前利用先验的人脸模型数据库重建三维人脸的技术已经较为成熟。同时，通过拟合人脸的三维可变形模型可以得到符合映射需求的面部纹理，在高性能的渲染引擎和足够的数据支持下，这种重建的面部纹理图在细节上也恢复的很好。但从单张随机的二维人脸图像来生成符合面部特征的人脸全头部纹理图还存在很大的问题，一方面由于单张随机的人脸图像由于姿态和角度的自遮挡而丢失了很多基本面部信息(如人脸正面图像缺乏侧面和头发区域的纹理信息)，导致常规方法所生成的人脸UV贴图总是不完整的；另一方面，对于随机获取的人脸图像，光照及相机姿态无法确定，难以从这种不受限的图像中恢复出真实的纹理细节。本发明涉及的全头部纹理生成方法可以更为完整的了解人物整个头部的信息，同时，全头部纹理也可以应用于三维模型的生成和投影，进行全头部纹理映射后的人脸三维模型逼真度更高。

发明内容

为了克服现有技术的不足，本发明提供一种基于单张人脸图像的全头部纹理网络结构及生成方法。以单张不受限(大小、角度、表情和光照条件任意)的人脸图像为输入条件，利用设计的生成对抗网络(Generative Adversarial Networks，GAN)获得对应个体的全头部纹理图。具体过程是通过三维人脸的先验知识获取输入人脸图像的身份、表情及纹理特征信息，使用变分自编码器(Variational Autoencoder，VAE)将获取的人脸特征信息作为约束来控制GAN网络的纹理生成过程，最后将输入的人脸图像利用两个性质不同的鉴别器与生成的纹理图进行人脸特征点检测反馈，从而得到更真实更符合原图像的全头部纹理图。在这个训练过程中，收集了足量的人脸纹理图，包括来自于开源数据集的一些人脸UV纹理图以及通过实验室专业3D扫描设备获取的人脸纹理图。本发明的纹理生成过程使用经特殊设计的VAE-GAN(Variational Autoencoder-Generative Adversarial Networks)框架来生成相应的UV纹理图，从而使输入图像中不可见区域的信息可用。

本发明解决其技术问题所采用的技术方案是：

一种基于单张人脸图像的全头部纹理网络结构，包括一个变分自编码器(Variational Autoencoder)模块，一个生成器(Generator)模块和两个用于不同目标的鉴别器(Discriminator)模块，其中变分自编码器模块将输入图像映射到浅层矢量，生成器模块根据浅层矢量生成对应的人脸纹理图像，再将人脸纹理图像分别输入到鉴别器模块中进行鉴别，鉴别器模块包括全局鉴别器和人脸特征点分类器，全局鉴别器识别生成器模块所产生的纹理图的真实性；人脸特征点分类器检测生成纹理图与原始输入图像的局部人脸特征点，使纹理图与原始输入图像的面部特征保持一致；变分自编码器服从隐藏层空间下的单位高斯分布，通过变分自编码器模块将输入的人脸图像投影到隐层矢量，然后使用生成器模块重构与隐层分布相匹配的输入图像特征的原始像素，隐层分布信息和输入图像之间的关系通过变分自编码器和生成对抗网络建立。