[发明专利]一种基于生成式对抗网络的图像风格迁移方法

权利要求书

1.一种基于生成式对抗网络的图像风格迁移方法，其特征在于，包括如下步骤：

步骤1，获取要风格迁移的两类图像：第一类为需要迁移的图像，第二类为参考图像；

步骤2，对步骤1的两类图像进行归一化或分割预处理，将其处理为256*256像素的图像；

步骤3，采用自编码器构造生成式网络，并采用多层卷积构造对抗网络，连接生成式网络和对抗网络，得到生成式对抗网络；其中，设置生成式网络的前4层为卷积网络层，卷积网络层每一层的卷积核为4*4，每一层均使用lrelu激活函数，步长为2；设置生成式网络的后4层为反卷积网络层，反卷积网络层每一层的反卷积核为4*4，步长为2，反卷积网络层的前三层均使用lrelu激活函数，反卷积网络层的第四层无激活函数，反卷积网络层最后一层的输出即为生成式网络的输出，生成式网络的输出作为对抗网络的其中一个输入；设置对抗网络中的对抗网络层为5层，对抗网络层每一层的卷积核为4*4，对抗网络层的前四层均使用lrelu激活函数，步长为2，对抗网络层的第五层无激活函数，步长为4；

步骤4，采用步骤2预处理后的两类图像对生成式对抗网络进行训练；

步骤5，根据步骤4训练好的生成式对抗网络对需要迁移的图像进行迁移，得到迁移后的图像。

2.根据权利要求1所述基于生成式对抗网络的图像风格迁移方法，其特征在于，该图像风格迁移方法还包括步骤6，若迁移后的图像为分割后的图像，则需要将分割后的图像进行拼接，得到最终迁移后的图像。

3.根据权利要求1所述基于生成式对抗网络的图像风格迁移方法，其特征在于，所述步骤4的具体过程如下：采用两个生成式对抗网络产生的损失函数进行训练；

(1)将预处理后的参考图像XA，经过生成式网络GAB变成另一种风格的图像XAB，通过对抗网络DB来衡量生成式网络GAB的效果，计算生成XAB的损失函数，公式如下：

L GAN B = - E X A ~ P A [ l o g ( D B ( G A B ( X A ) ) ] ]]>

其中，PA为XA的分布，为生成XAB的损失函数，E表示期望；

(2)让XAB通过生成式网络GBA，还原成与XA相似的图片XABA，计算XA与XABA的相似度LCONSTA，公式如下：

(3)将预处理后的需要迁移的图像XB，通过生成式网络GBA变成另一种风格的图像XBA，通过对抗网络DA来衡量生成式网络GBA的效果，计算生成XBA的损失函数，公式如下：

L GAN A = - E X B ~ P B [ l o g ( D A ( G B A ( X B ) ) ] ]]>

其中，PB为XB的分布，为生成XBA的损失函数；

(4)让XBA通过生成式网络GAB，还原成与XB相似的图片XBAB，计算XB与XBAB的相似度LCONSTB，公式如下：

(5)根据(1)-(4)计算生成式网络总的损失函数LG，公式如下：

L G A B = L GAN B + L C O N S T A ]]>

L G B A = L GAN A + L C O N S T B ]]>

L G = L G A B + L G B A ]]>

其中，为生成式网络GAB的损失函数，为生成式网络GBA的损失函数；

(6)将预处理后的需要迁移的图像XB作为真样本输入对抗网络DB，生成的图像XAB作为假样本输入对抗网络DB，将预处理后的参考图像XA作为真样本输入对抗网络DA，生成的图像XBA作为假样本输入对抗网络DA，分别计算对抗网络DB、DA的损失函数从而得到对抗网络总的损失函数LD，公式如下：

L D = L D A + L D B ]]>

其中，为对抗网络DB的损失函数，为对抗网络DA的损失函数；

(7)采用梯度下降法使损失函数LD最小化，与此同时采用梯度下降法使损失函数LG最小化，对生成式网络和对抗网络的损失函数同时进行优化，并对生成式网络和对抗网络的网络参数进行调整，反复迭代(1)-(7)，当对抗网络判定正确的概率等于0.5或者达到预设迭代次数时，训练完成。