[发明专利]一种人脸照片图像和素描图像的转换方法及系统

权利要求书

1.一种人脸照片图像和素描图像的转换方法，其特征在于，包括：

获取待转换的人脸源域图像并进行预处理；

将预处理后的图像输入至训练好的循环生成对抗网络，输出转换后的人脸目标域图像；

其中，所述循环生成对抗网络以遵循U-Net模型架构并且包含下采样器、自注意力残差转换器和上采样器的神经网络作为生成器，以由卷积层和池化层组成的神经网络作为判别器；

所述生成器的输入为设定尺寸的待转换或者待训练的源域图像；源域图像输入后经过下采样器进行特征提取，然后输入自注意力残差转换器根据自注意力分布得到自注意力特征图；将所述特征图输入到上采样器中，并在不同尺度下与下采样器中相应分辨率的输出通过跳层连接进行按元素求和；所述生成器的输出是与输入图像尺寸相同的目标域合成图像；所述判别器通过分别计算目标域真值图像和目标域合成图像的判别输出值来判断二者的相似程度；所述跳层连接为自注意力残差块和卷积层之间的连接；

所述自注意力残差转换器包括四个顺次连接的自注意力残差块和一个卷积层并且带有跳层连接；所述自注意力残差块包含一个全局残差单元和一个局部残差单元，且局部残差单元嵌入在全局残差单元中，所述全局残差单元中还包括自注意力单元。

2.如权利要求1所述的一种人脸照片图像和素描图像的转换方法，其特征在于，所述自注意力单元中，自注意力分布函数的输入为自注意力残差块中其前面卷积层的输出M，所述自注意力分布函数由位置自注意力分布函数和通道自注意力分布函数组成；自注意力分布函数的输出为通过上述两个分布函数对输入M进行处理变换后得到的最终的特征图N。

3.如权利要求2所述的一种人脸照片图像和素描图像的转换方法，其特征在于，得到自注意力分布函数输出的具体过程包括：

在位置自注意力分布函数中，所述输出M经过卷积层转换为A，B和C；

A，B，C分别被重塑；将B的转置与A执行矩阵相乘得到位置特征图P；将P的转置与C执行矩阵相乘后，和M执行按元素求和运算得到新的位置特征图E；

在通道自注意力分布函数中，所述输出M被重塑后，M与M的转置执行矩阵相乘，得到通道特征图X； X与M的转置执行矩阵相乘后，和M执行按元素求和运算得到新的通道特征图H；H和E分别经过卷积层后执行按元素求和运算得到总的自注意力分布特征图D； D经过卷积层后，再与M按元素相加得到最终的特征图N，即为自注意力函数的输出。

4.如权利要求1所述的一种人脸照片图像和素描图像的转换方法，其特征在于，对于循环生成对抗网络的训练过程，具体包括：

由生成器生成的图像训练判别器，目标域真值图像和生成的图像分别被输入到判别器中得到判别输出值，根据二者的判别输出值计算判别器损失来优化判别器，目标域真值图像为真样本，生成的图像为假样本；

在此判别器下训练生成器，最小化目标损失函数用以优化生成器网络；

生成器更新参数并生成新的样本，新的样本再被送到判别器中，根据判别器损失对判别器再次进行优化；

按照上述过程依次交替训练判别器和生成器，直到损失函数不再下降，则网络训练完成。

5.如权利要求1所述的一种人脸照片图像和素描图像的转换方法，其特征在于，所述循环生成对抗网络采用Cycle-GAN的基本结构，包括由生成器和判别器组成的照片域转换为素描域的网络，以及由生成器和判别器组成的素描域转换为照片域的网络。

6.如权利要求1所述的一种人脸照片图像和素描图像的转换方法，其特征在于，当源域为照片域图像时，目标域为素描域图像；当源域为素描域图像时，目标域为照片域图像。