[发明专利]基于隐藏变量解耦的人脸图像局部特征迁移网络及方法

权利要求书

1.一种基于隐藏变量解耦的人脸图像局部特征迁移方法，其特征在于，包括以下步骤：

步骤1：搭建人脸图像局部特征迁移与移除网络架构，用损失函数指导人脸图像局部特征迁移与移除网络进行训练，获得训练好的人脸图像局部特征迁移与移除网络；

所述人脸图像局部特征迁移与移除网络架构，包括一个内容编码器E^C、一个嘴部妆容编码器E^L、眼部妆容编码器E^S、脸部妆容编码器E^F、解码器G，以及三个判别器分别为D_X、D_Y、D_XY；其中，编码器和解码器合统称为生成器；

所述内容编码器E^C用来提取人脸妆容无关特征，嘴部妆容编码器E^L用来提取嘴部妆容信息，眼部妆容编码器E^S用来提取眼部妆容信息，脸部妆容编码器E^F用来提取脸部妆容信息；解码器G根据输入的信息生成不同的图片；判别器D_X、D_Y、D_XY用来判别生成的结果是否来自对应的真实样本域；D_X用来区分是来自生成器生成的假的妆容移除的样本还是未化妆图片域中真实的样本，D_Y用来区分是来自生成器生成的假的妆容迁移的样本还是化妆图片域中真实的样本，D_XY用来区分是来自生成器生成的图片还是未化妆图片域和化妆图片域共同的真实的样本；

所述用损失函数指导人脸图像局部特征迁移与移除网络进行训练，具体包括以下子步骤：

步骤1.1：输入数据，编码器编码信息；

未化妆图片域记为X，未化妆图片实例记为x_i，化妆图片域记为Y，化妆图片实例为记y_j；首先分别提取图片x_i和y_j的内容信息和局部妆容信息，图片x_i的内容信息C_i＝E^C(x_i)，图片x_i的唇部妆容信息L_i＝E^L(x_i)，图片x_i的眼部妆容信息S_i＝E^S(x_i)，图片x_i的脸部妆容信息F_i＝E^F(x_i)；图片y_j的内容信息C_j＝E^C(y_j)，图片y_j的唇部妆容L_j＝E^C(y_j)，图片y_j的眼部妆容信息S_j＝E^S(y_j)，图片y_j的脸部妆容信息F_j＝E^F(y_j)；

步骤1.2：信息融合，解码器生成结果；

整体妆容迁移y_i^transfer＝G(C_i,L_j,S_j,F_j)，去妆结果x_i^removal＝G(C_i,L_j,S_j,F_j)；局部妆容迁移结果，唇部妆容迁移结果y_i^lip＝G(C_i,L_j,S_i,F_i)，眼部妆容迁移结果y_i^eye＝G(C_i,L_i,S_j,F_i)，脸部妆容迁移结果y_i^face＝G(C_i,L_i,S_i,F_j)，同时进行图片自建将x_i^removal,y_i^transfer再次输入到人脸图像局部特征迁移与移除网络中，得到结果

步骤1.3：计算损失函数，使用反向传播方法训练人脸图像局部特征迁移与移除网络；

生成器采用的损失函数由对抗损失函数、整体妆容损失函数、自建损失函数、交叉重建损失函数和局部妆容迁移损失函数、局部不变损失函数、局部与全局妆容不变损失函数加权组成；

计算生成器的全部的损失函数之后，使用反向传播方法更新生成器中的参数；判别器的损失函数由对抗损失函数构成，同样使用反向传播方法更新判别器中的参数；训练过程中生成器和判别器交替训练；

观察训练结果的损失函数，生成器的损失函数不再有下降的时候停止训练，获得训练好的内容编码器E^C、嘴部妆容编码器E^L、眼部妆容编码器E^S和脸部妆容编码器E^F和解码器G；

步骤2：将人脸未化妆图片和化妆图片分别输入到训练好的内容编码器E^C、嘴部妆容编码器E^L、眼部妆容编码器E^S和脸部妆容编码器E^F中；

步骤3：在各个编码器中，利用卷积神经网络，经过卷积层和归一化层，对输入图片进行下采样；

步骤4：由不同的训练好的编码器对人脸图像局部特征信息进行解耦，所述人脸图像局部特征包括嘴部妆容、眼部妆容、脸部妆容和人物其他妆容无关特征；

步骤5：对各个编码器输出的解耦信息进行融合，融合操作为将各个编码器提取到的编码信息在通道层上进行拼接；

步骤6：将融合后的信息输入到解码器中，在解码器中利用卷积神经网络，经过上采样层和卷积层，对融合后的信息进行上采样；

步骤7：解码器的输出结果为人脸图像局部特征迁移与移除结果，获得人脸图像局部特征迁移与移除结果。