[发明专利]一种基于自监督学习的非配对人脸图像翻译方法

权利要求书

1.一种基于自监督学习的非配对人脸图像翻译方法，其特征在于，包括如下步骤：

步骤(1)、针对非配对的人脸图像翻译数据集，采用域解耦合的策略，设计两个独立的风格编码网络encoderS和内容编码网络encoderC，分别对风格图像S和内容图像C进行编码，得到风格特征s和内容特征c，并保证s和c具有相同的特征维度；

步骤(2)、根据内容编码网络encoderC构建一个与之相对的解码网络decoder，并替换decoder中对应的归一化层为自适应归一化(AdaIN)层；风格编码网络encoderS、内容编码网络encoderC以及解码网络decoder构成图像翻译网络；

步骤(3)、将内容编码c通过解码网络decoder进行传导，记作编码f_i，并在解码网络的每一个自适应归一化层，利用自适应归一化方法，将传导过来的编码f_i和风格编码s进行特征融合，得到新的编码特征f_i-1，i表示当前特征编码f对应的上采样层的深度，在编码网络中i值随着特征传导逐渐增大，在解码网络中逐渐减小：

f_i-1＝AdaIN(f_i，s)＝σ(s)(f_i-μ(f_i)σ(f_i))+μ(s)

其中μ(·)和σ(·)分别表示均值和标准差；

利用基于人脸组件字典的组件约束对得到的新的编码结果f_i-1中的人脸组件特征信息进行增强，通过解码网络的多次特征融合和特征解码，得到初步人脸图像翻译结果；

步骤(4)、针对非配对的人脸图像翻译数据集，为了引导网络模型能够实现在非配对情况下的人脸图像翻译任务，需要进行约束，具体操作如下：

利用自重建损失L_rec和循环重建损失L_cycrec，用内容图代替风格图作为重建风格，来约束图像翻译过程中内容特征的一致性：

L_rec＝||C-G(C，C))||₁

L_cycrec＝||C-G(G(C，S)，C)||₁

其中G(x，y)代表图像翻译网络，x代表内容图，y代表风格图，；

利用风格对比损失L_stycon来约束图像翻译过程中风格特征的独立性：

其中代表翻译结果的风格特征，q⁺代表目标风格类型对应的风格字典，代表其他风格类型对应的风格字典，k为负样本类型，τ为温度超参数；

利用生成对抗网络和对抗损失来约束图像翻译的感知质量：

L_adv＝logD(C)+log(1-D(C，s))

其中D表示生成对抗网络中的判别网络。

2.根据权利要求1所述的一种基于自监督学习的非配对人脸图像翻译方法，其特征在于，所述风格编码网络encoderS对风格图像S进行编码的具体操作如下：

利用数据增强方法对风格图像进行数据扩充，构建扩充数据样本S′与源样本S的正样本对；

针对非配对的人脸图像翻译数据集中的每一种图像风格类型都构建一个相应的风格字典，用于存储该风格类型的风格图像通过风格编码网络encoderS得到的风格特征；

将其他风格类型对应的风格字典作为负样本q^-，当前风格类型对应的风格字典作为正样本q⁺，通过自监督学习中的对比学习方法来约束不同风格域之间的特征分离，使得风格编码网络可以很好的提取出不同类型的风格特征，对比学习的损失函数定义为：

其中s为当前源样本S对应的风格特征，k为负样本类型，τ为温度超参数。