[发明专利]基于解耦表示的人脸正面化模型构建方法和训练方法

权利要求书

1.一种基于解耦表示的人脸正面化模型训练方法，其特征在于，包括：

获取一系列的人脸样本图像，将正面人脸图像和非正面人脸图像输入到预训练后的基于解耦表示的循环生成对抗网络中；

通过正面人脸图像特征提取网络提取出正面人脸图像的身份特征；通过非正面人脸图像特征提取网络以解耦表示的方式提取出非正面人脸图像的身份特征和角度特征；

通过正面人脸生成器对非正面人脸图像的身份特征和角度特征进行处理，生成其对应的正面人脸图像；通过非正面人脸生成器对正面人脸图像的身份特征和非正面人脸图像的角度特征进行处理，生成其对应的非正面人脸图像；

通过非正面人脸图像特征提取网络提取出生成的非正面人脸图像的身份特征和角度特征，并利用正面人脸生成器重建出人脸正面图像；通过正面人脸图像特征提取网络提取出生成的正面人脸图像的身份特征，结合所述角度特征利用非正面人脸生成器重建出非正面人脸图像；

通过正面人脸图像判别器对输入的正面人脸图像和重建出的正面人脸图像进行判别；通过非正面人脸图像判别器对输入的非正面人脸图像和重建出的非正面人脸图像进行判别；

对所述基于解耦表示的循环生成对抗网络进行对抗训练、语义级循环一致性训练、身份保持训练以及KL散度训练，得到训练后的正面人脸生成器，从而完成人脸正面化模型的训练；

其中，对所述基于解耦表示的循环生成对抗网络采用的语义级循环一致性训练的损失函数表示为：

其中，L_c表示基于解耦表示的循环生成对抗网络的语义级循环一致性损失；表示正面人脸图像的语义级循环一致性损失；表示非正面人脸图像的语义级循环一致性损失；表示数学期望；I_N表示人脸样本图像中的非正面人脸图像，I_F表示人脸样本图像中的正面人脸图像；φ_i,j表示从预先训练的人脸识别网络获取的第j层卷积第i块上的特征图，表示重建的正面人脸图像，表示重建的非正面人脸图像；‖‖₂表示二范数。

2.根据权利要求1所述的一种基于解耦表示的人脸正面化模型训练方法，其特征在于，所述获取一系列的人脸样本图像包括随机从非成对的人脸图像数据集中采样，分别获得一系列的正面人脸图像和非正面人脸图像。

3.根据权利要求1所述的一种基于解耦表示的人脸正面化模型训练方法，其特征在于，所述正面人脸图像特征提取网络包括身份特征编码器所述非正面人脸图像特征提取网络包括身份特征编码器和角度特征编码器E^P；将身份特征编码器和身份特征编码器最后一层的网络参数共享。

4.根据权利要求1所述的一种基于解耦表示的人脸正面化模型训练方法，其特征在于，对所述基于解耦表示的循环生成对抗网络采用的身份保持训练的损失函数表示为：

其中，L_id表示基于解耦表示的循环生成对抗网络的身份保持损失；表示正面人脸图像的身份保持损失；表示非正面人脸图像的身份保持损失；φ_-1表示预先训练的人脸识别网络的最后一层提取出的特征图；表示数学期望；I_N表示人脸样本图像中的非正面人脸图像，I_F表示人脸样本图像中的正面人脸图像；表示生成的非正面人脸图像，表示生成的正面人脸图像；‖‖₂表示二范数。

5.一种基于解耦表示的人脸正面化模型构建方法，其用于实现如权利要求1～4任一所述的一种基于解耦表示的人脸正面化模型训练方法，其特征在于，所述模型构建方法包括：

对正面人脸图像和非正面人脸图像构建出至少包括两个生成器、两个判别器和两个特征提取网络的循环生成对抗网络；

对所述循环生成对抗网络中的非正面人脸图像特征提取网络进行特征解耦处理，构建出基于解耦表示的循环生成对抗网络；

对所述基于解耦表示的循环生成对抗网络进行预训练，从预训练好的基于解耦表示的循环生成对抗网络中提取出正面人脸生成器，从而完成人脸正面化模型的构建。