[发明专利]一种基于分治融合的高清人脸属性编辑方法

权利要求书

1.一种基于分治融合的高清人脸属性编辑方法，其特征在于，包括以下步骤：

步骤一：利用低清人脸编辑网络对下采样后的原始高清人脸图像进行第一次人脸属性编辑，再将编辑后的人脸图像上采样恢复至原始尺寸；

步骤二：将原始高清人脸图像与步骤一获得的上采样后的低清人脸编辑后的图像做相同切片，将相同位置的切片差与低清人脸编辑后的图像切片输入高清人脸融合网络中进行第二次人脸属性编辑；

所述的高清人脸融合网络包括双通道多层编码器和单通道多层解码器，所述的相同位置的切片差与低清人脸编辑后的图像切片在双通道多层编码器中分别编码，编码结果按通道相加并与属性差值向量融合，再输入到单通道多层解码器中进行解码，得到第二次人脸属性编辑后的切片；所述的属性差值向量是由人脸图像的目标属性向量和源属性向量作差得到的；

步骤三、将高清人脸融合网络输出的切片结果按位置拼接，得到最终的含新属性的人脸图像。

2.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法，其特征在于，所述的低清人脸编辑网络的训练过程为：将所述的第一次人脸属性编辑后得到的人脸图像经过卷积处理后分别作为判别器和属性分类器的输入，利用多任务学习的方式对低清人脸编辑网络进行训练；所述的多任务损失包括重建损失、对抗损失、属性损失和分类器损失。

3.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法，其特征在于，所述的高清人脸融合网络的训练过程为：将步骤三得到的最终的含新属性的人脸图像经过卷积处理后分别作为判别器和属性分类器的输入，利用多任务学习的方式对高清人脸融合网络进行训练；所述的多任务损失包括重建损失、对抗损失、属性损失和分类器损失。

4.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法，其特征在于，所述双通道多层编码器输出的编码后的切片图像采用加权平均法进行融合，首先确定双通道输出的切片图像image1，image2的公共区域region2，对公共区域的像素点重新进行计算：

其中，表示融合之后的新的公共区域，和分别表示image1和image2的原始公共区域；weight为权重，计算公式为：

其中，x为切片在原始高清人脸图像中的像素点坐标，k表示权重。

5.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法，其特征在于，在单通道多层解码器的相邻两层之间引入注意力单元，所述的注意力单元的输入为解码器第l层输出的特征向量与编码器第p-l层输出的特征向量，注意力单元的输出作为解码器第l+1层的输入，解码器最后一层的输出作为编辑后的人脸图像；p为编码器和解码器的层数。

6.根据权利要求5所述的基于分治融合的高清人脸属性编辑方法，其特征在于，在单通道多层解码器的每一层输入中均加入属性差值向量。

7.根据权利要求6所述的基于分治融合的高清人脸属性编辑方法，其特征在于，所述的低清人脸编辑网络采用编码-解码网络，且解码器结构与高清人脸融合网络中的单通道多层解码器结构相同。

8.根据权利要求7所述的基于分治融合的高清人脸属性编辑方法，其特征在于，所述的低清人脸编辑网络表示为：

其中，X′_t表示第一次人脸属性编辑后的图像，X′_i表示下采样后的原始高清人脸图像，A_d表示属性差值向量，表示人脸图像的目标属性向量，表示原始高清人脸图像X_i的源属性向量，表示低清人脸编辑网络，表示低清人脸编辑网络中的编码器，表示低清人脸编辑网络中的解码器。