[发明专利]一种基于代价敏感学习的人脸属性编辑方法

权利要求书

1.一种基于代价敏感学习的人脸属性编辑方法，该方法包括：

步骤1：对数据集进行预处理；

获取真实人脸图像，并将这些真实图像按照其中人脸显示的属性进行标注，对所有图片像素值进行归一化；

步骤2：构建生成对抗网络的判别器网络和生成器网络；

1)判别器网络构建

判别器网络输入为图片，输出为一个标量和一个向量；判别器网络D分为三个模块：特征提取模块D_e、对抗损失模块D_adv和属性分类模块D_cls；特征提取模块D_e的输入为图片，输出为图片的特征向量，特征提取模块D_e由5层卷积网络块依次连接而成；对抗损失模块D_adv的输入为特征提取模块D_e提取的特征，输出为标量，值越大表示图像越真实，对抗损失模块D₂采用两层线性网络块构成；属性分类模块D_cls的输入为特征提取模块D_e的提取的特征，输出为属性分类向量，属性分类模块D_cls由两层线性网络块构成；

2)生成器网络构建

生成器网络输入为原始图像和图像的属性编辑向量，输出为属性编辑后图像；生成器网络G主要由三个部分构成：编码器模块G_enc、解码器模块G_dec、滤波模块G_F；其中编码器模块G_enc的输入原始图像，输出为图像特征，由5层卷积网络块依次连接而成；解码器模块G_dec的输入为图像特征和图像的过滤特征，输出为编辑后人脸图像，由5层转置卷积网络块依次连接而成，并且编码器和解码器之间采用了Unet网络中的对称跳跃连接；滤波模块G_F的输入为图像特征，输出为图像的过滤特征，采用STU结构构成，主要用于选择性过滤编码器和解码器之间的对称跳跃连接中传递的图像特征；

步骤3：设计人脸属性编辑模型训练过程中的属性编辑操作；

本发明采取小批量梯度下降算法对模型进行优化，分批次向模型输入数据集中的N个图像样本-属性标签对：(x，l)，属性标签l是一个长度为M二进制向量，每一位的0或1分别表示对应属性的无或有；属性编辑向量构造方式如下：以图像样本x本身的属性标签作为它的原始标签l_s，并为每个图像样本x随机挑取其他图像样本的属性标签作为目标属性标签l_t，以保证属性编辑操作不会存在冲突，以Δl＝l_t-l_s作为图像x的属性编辑向量；当Δlⁱ＝1时，表示为图像x增加第i个属性；当Δlⁱ＝0时，表示不改变图像x的第i个属性；当Δlⁱ＝-1时，表示为图像x去掉第i个属性；

步骤4：设计错分代价和错误编辑代价

1)首先统计数据集中的人脸属性分布概率P＝[p₁ p₂ … p_M]，其中M为人脸属性个数，第i个属性在数据集中的分布概率为其中表示第i个属性在数据集中出现的次数，N_data为数据集的样本数量；然后根据人脸属性的分布概率P可以计算得到训练过程中第i个属性发生编辑的概率为2p_i(1-p_i)；

2)计算错分代价其中将第i个属性由1分类为0的代价为C_i1＝1/p_i；将第i个属性由0分类为1的代价为C_i2＝1/(1-p_i)；即可得

3)计算错误编辑代价当未对图像的第i个属性进行编辑时，而发生了错误编辑的代价为A_i1＝1/(1-2p_i(1-p_i))；当对图像的第i个属性进行编辑时，而未发生编辑的代价为A_i2＝1/(2p_i(1-p_i))；即可得到

步骤5：设计损失函数；

1)从训练公平性角度出发，针对判别器网络设计损失函数，以均衡不平衡数据集的影响：设由生成器编辑后的图像x_g～p_g，p_g为生成器拟合的图像分布；设真实图像——属性标签对(x_r，l_r)～p_data，p_data为真实图像数据集的分布；利用判别器的特征提取模块D_e来提取查询图像x_r的图像特征：f_r＝D_e(x_r)，将真实图像的特征f_r送到判别器的对抗损失模块D_adv中计算图像的真实度估计：D_adv(xr)；按照上述过程，可以得到生成图像x_g的真实度估计D_adv(x_g)；这样可以构造生成对抗网络的判别器的对抗损失：

其中，D_adv(x_g)表示判别器的对抗损失模块对编辑图像的输出值，输出值越大表明编辑图像越真实，表示对该输出值的期望，D_adv(x_r)表示判别器的对抗损失模块对编辑图像的输出值，表示对该输出值的期望；即分布为数据集分布p_r和生成图像分布p_g的线性混合，∈表示线性混合系数，表示判别函数关于混合图像求梯度，为梯度惩罚项，用来约束判别器模型的参数符合lipschitz连续条件，λ_gp为梯度惩罚系数；

将真实图像的特征f_r送到判别器的属性分类模块D_cls中预测图像的属性分类，输出表示为D_cls(x_r)；结合步骤4的2)中计算得到的错分代价C，可以为判别器构造具有代价敏感的分类损失函数：

其中，D_cls(x_r)表示判别器的属性分类模块对原始图像x_r的属性预测向量，表示对图像x_r的第i个属性的预测值，要求与原始属性标签的第i个分量越一致越好；所以，判别器的总损失函数为：

其中，为判别器的对抗损失，为判别器的分类损失，λ_cls为属性分类损失函数的权重；

2)从训练公平性角度出发，针对生成器网络设计损失函数，以均衡不平衡数据集的影响：设从数据集中抽取的原始图像——属性标签对为(x_s，l_s)～p_data，同时按照步骤3的方法为每一张图片抽取目标属性标签l_t，构造属性编辑向量Δl；首先利用生成器的编码器提取原始图像的特征f_s＝D_enc(x_s)，将原始图像特征f_s和属性编辑向量Δl进行拼接得到带有条件的图像特征f_t，将原始图像特征f_s和0向量(长度为M)进行拼接得到不带条件的图像特征f_r以用于图像重建；然后分别将f_t，f_r送入滤波模块D_F中得到过滤特征f′_t，f′_r，然后将图像特征和过滤特征送入解码器D_dec中，分别得到编辑人脸图像x_t＝D_dec(f_t，f′_t)和重建人脸图像x_r＝D_dec(f_r，f′_r)，为了方便表示，这里简记为x_t＝G(x_s，Δl)，x_r＝G(x_s，0)；然后按照步骤5的1)中的过程得到编辑人脸x_t的真实度D_adv(x_t)，然后构造生成器的对抗损失函数：

其中，G(x_s，Δl)为生成器关于属性编辑向量Δl对原始图像x_s进行编辑后的图像，D(G(x_s，Δl))为判别器关于编辑图像x_t＝G(x_s，Δl)的真实度预测值，该值越高，表明编辑后图像越真实；表示对编辑后图像x_t的真实度的数学期望；

按照步骤5的1)中的过程得到编辑人脸x_t的属性预测向量D_cls(x_t)，结合步骤4的3)中计算的错误编辑代价A，构造生成器的属性编辑损失函数：

其中，1_[·]为指示函数，当Δl＝0时，1_[Δl]＝1，即A_il[Δl]＝A_i1；当Δl≠0时，1_[Δl]＝2，即A_i[Δl]＝A_i2；D_cls(x_t)表示判别器的属性分类模块对编辑人脸x_t的属性预测向量，表示对图像x_t的第i个属性的预测值，要求与目标属性标签的第i个分量越一致越好；

同时，为了保证生成器G能够保留人脸的基本信息，要求重建人脸图像x_r＝G(x_s，0)和原始人脸图像x_s越一致越好，构造生成器的图像重建损失函数：

其中，||·||₁为矩阵1范数，当重建图像x_r＝G(x_s，0)与原始图像x_s的每个像素点的取值越一致的时候，||x_s-G(x_s，0)||₁越小；所以，生成器的总损失函数为：

其中，λ_op为属性编辑损失的权重，λ_rec为图像重建损失的权重；

步骤6：训练步骤2中构建的生成对抗神经网络，利用步骤5构建的损失函数进行网络训练，在更新生成器网络G时固定判别器网络D的参数，而更新判别器网络D时则固定生成器网络G的参数，每次迭代更新判别器5次然后更新生成器一次；

步骤7：采用训练完成的生成器网络G来对测试集中的人脸图像进行属性编辑，并用属性编辑成功率来衡量本发明提出的模型的属性编辑效果。