[发明专利]一种基于单张人脸图像的全头部纹理网络结构及生成方法

权利要求书

1.一种基于单张人脸图像的全头部纹理网络结构，包括一个变分自编码器模块，一个生成器模块和两个用于不同目标的鉴别器模块，其特征在于：

其中变分自编码器模块将输入图像映射到浅层矢量，生成器模块根据浅层矢量生成对应的人脸纹理图像，再将人脸纹理图像分别输入到鉴别器模块中进行鉴别，鉴别器模块包括全局鉴别器和人脸特征点分类器，全局鉴别器识别生成器模块所产生的纹理图的真实性；人脸特征点分类器检测生成纹理图与原始输入图像的局部人脸特征点，使纹理图与原始输入图像的面部特征保持一致；变分自编码器服从隐藏层空间下的单位高斯分布，通过变分自编码器模块将输入的人脸图像投影到隐层矢量，然后使用生成器模块重构与隐层分布相匹配的输入图像特征的原始像素，隐层分布信息和输入图像之间的关系通过变分自编码器和生成对抗网络建立；

所述的变分自编码器是自编码器的一种改进模型，将输入信息经encoder模块处理后转换成隐层矢量；引入重参数构建变分边界，使自编码器通过对隐层特征的修改实现对数据生成过程的微调，将人脸图像作为变分自编码器模块的输入信息，经过卷积和池化过程之后获得输入图像降维后的隐层数据，并将人脸的身份、表情和纹理参数作为重参数加入到隐层矢量中，用于表示输入图像与约束参数的隐层分布。

2.一种利用权利要求1所述基于单张人脸图像的全头部纹理网络结构的生成方法，其特征在于包括下述步骤：

步骤1：获取输入参数，输入参数包括PCA模型的纹理参数，身份特征参数和表情特征参数；

PCA模型的压缩降维过程是将人脸样本按照形状、纹理排列为样本矩阵，并对样本矩阵去中心化，然后对协方差矩阵进行特征值分解，得到特征值与特征向量，将特征值与特征向量作为主成成分保留；

其中，和分别表示人脸样本的平均形状和平均纹理，P_i和T_i表示面部形状和纹理模型的主成成分的特征基，α_i和β_i为人脸形状参数和纹理参数；

步骤2：基于PCA的多线性模型优化求解；

根据人脸模型中不同的轴向特征排列面部样本，将面部样本数据表示成三阶张量，第一维是面部的坐标顶点，第二维是身份特征，第三维是面部表情特征，采用基于PCA的多线性模型压缩人脸样本，面部样本由三阶张量的多线性组合表示：

S^*＝Cr×_idω_id×_expω_exp (3)

其中，Cr是正交矩阵对应维度的三阶张量核，×_id×_exp分别表示身份和表情的模乘，ω_id为人脸样本的身份特征向量，ω_exp为人脸样本的表情特征向量；S^*表示任意的人脸形状，人脸形状形状S^*由压缩后的张量核Cr和身份、表情的模乘与特征向量进行多线性表示；根据步骤1中求得的作为初始值，根据所收集的三维人脸数据库中的三维人脸模型张量核Cr，采用高斯-牛顿法求解当前人脸的身份特征向量与表情特征向量即ω_id与ω_exp，其中ω_id、ω_exp为未知参数，此多线性模型的优化过程即求该目标函数最小化的最优解：

其中分别表示ω_id和ω_exp参数的待求最佳值，S表示PCA模型求解的条件约束的人脸形状函数，对已知变量进行初始化，固定其他变量，仅对一组变量进行求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对待求变量进行求解；

步骤3：网络模型中各模块的优化过程及训练参数设置；

将步骤1和步骤2中求解得到的纹理参数β和身份特征向量ω_id、表情特征参数ω_exp作为变分自编码器的条件属性，在经过变分自编码器的卷积层和池化层中对输入图像进行卷积和二次采样过程，将变分自编码器输出的潜层向量的维度设定为256；变分自编码器的末端级联两个连续层，将得到的身份、表情和纹理参数与二次采样的输入图像进行合并；变分自编码器和生成器模块之间采用完全卷积的级联形式结构，通过两个全连接层建立阶跃连接；在生成器模块上设置6个上采用的反卷积层和相应的滤波器结构，其中卷积层在本次设计中分别设置成256，128和64个通道数；

生成器模块的优化过程通过最小化生成纹理与隐层参数相对应的样本纹理之间的逐像素欧氏距离实现，即通过逐像素二范数作为生成器模块的损失函数：

其中，I(x,y)为训练过程中的样本纹理图的像素，I^*(x,y)为生成器生成的纹理图的像素，f_C是全局鉴别器网络中间层的特征，和f_D是本地面部鉴别器网络的中间层特征；

在基于单张人脸图像的全头部纹理生成网络结构中，鉴别器模块包括全局鉴别器和人脸特征点分类器；将Alexnet框架的输入大小设置为256*256作为全局鉴别器模块，并在卷积层之后进行批次归一化，使用已公开的ArcFace作为面部特征点检测分类器的网络框架，通过全局鉴别器和人脸特征点分类器各自的损失函数进行网络结构的训练；其中全局鉴别器的真实性评估标准是，根据输入条件参数生成的全头部纹理是UV纹理图，像素分布连续且符合实际人脸生物学特征，同时，保证生成纹理图的面部和其他位置(如脖颈、耳朵及头发区域)的连接处像素是连续的，全局鉴别器的损失函数表示为：

其中，P_d(x)表示全头部UV纹理图的参数分布，P_d(y)为面部区域的UV纹理参数分布，P_(c)是人脸PCA纹理模型的参数分布；

人脸特征点分类器基于公开的人脸识别网络ArcFace进行设计，该网络经过预训练获取面部区域关键点，在角度空间最大化分类界线，用于检测生成的UV纹理中的面部中心区域是否与输入人脸图像的特征值保持一致；本发明将输入面部图像的特征点位置与生成的纹理图面部区域特征点的余弦距离作为身份特征损失函数：

其中m为批处理大小，n为训练样本的数量，为输入面部图像的特征向量，为经过网络模型生成的纹理图中的特征向量，c_yi是第y_i类的特征中心，λ是中心损失的权重；

本发明中基于单张人脸图像的全头部纹理生成网络模型的完整损失函数为公式(4)(5)(6)所表示的各模块损失函数的总和，具体表示如下：

L＝λ_GL_G+λ_DL_D+λ_idL_id (7)

其中，λ_G,λ_D,λ_id为平衡各模块对整体损失函数影响的权重值；

训练过程是对整个全头部纹理生成网络模型的完整损失函数进行最优值计算，网络结构基于Tnesorflow框架实现；

步骤4：网络结构的参数设置及训练数据；

网络训练过程所使用的人脸纹理数据集一部分来源于开源数据集中收集的可用UV纹理图，其中包括WildUV数据集，另一部分纹理数据使用3D扫描设备获得，最终获得不低于5000张的纹理图像样本；

初始输入为不受限的单张人脸图像，尺寸随机，网络结构的训练过程利用Tnesorflow实现，网络训练了200个epochs，批处理数(bathc size)设置为16，学习率(lr)设置为0.001，对网络训练的终止条件为达到200个epochs，满足终止条件后网络满足训练好的条件，损失函数达到最优，使用训练好的网络直接输出，即可生成全头部纹理图。