[发明专利]一种基于生成式对抗网络的图像域转换网络和转换方法

说明书

本发明公开了一种基于生成式对抗网络的图像域转换网络和转换方法，包括U型生成网络、真假鉴别网络和配对鉴别网络，图像域转换过程主要包括以下步骤：1）、训练U型生成网络，建立U型生成网络的网络模型；2）将待转换的图像经过归一化处理后输入经步骤1）建立的网络模型，完成待转换图像的图像域转换；本发明能够实现图像中局部区域的图像域转换任务，且图像局部域转换质量高，网络判断能力强，图像转换的稳定性强，大大提高了生成的图像的真实性。

技术领域

本发明涉及图像域转换技术领域，尤其涉及一种基于生成式对抗网络的图像域转换网络和转换方法。

背景技术

图像域转换是计算机视觉里一个重要的研究方向，有着广阔的应用前景。目前，对抗式生成网络(Generative Adversarial Networks,GAN)的出现，在图像生成领域取得了令人瞩目的成就，这也为图像域转换提供了新的解决方法。利用生成式对抗网络，将图像输入并生成网络生成目标域的图像，网络的训练基于生成网络和鉴别网络之间的博弈完成。生成式对抗网络最初提出时是无监督的学习方法，通过生成网络和鉴别网络之间的博弈，逐步学习到训练集中的数据分布，从而实现输入一个随机值使生成网络可以按照学习到的数据分布去随机的生成数据，其最早的应用即图像的生成。之后，Conditional GAN通过给GAN的输入增加人为的条件，使其生成的数据不再是随机生成，而是根据输入的条件不同生成不同的数据，Conditional GAN的提出，使得图像域的转换可以使用生成式对抗网络进行。

之后，改进自原始的GAN的Conditional GAN出现，目前研究的Conditional GAN通过给GAN的输入增加人为的条件，能对特定的输入生成特定的图像数据，而不再是输入随即的数据生成随即的图像数据。Conditional GAN的提出使得图像域的转换可以使用生成式对抗网络进行，即在其框架下输入为原始域图像，通过训练学习使其能够输出目标域图像。在该框架下实现的图像域转换GAN有：(1)pix2pix GAN，其使用的是有监督的方法，网络基于一个生成网络和一个对抗鉴别网络，解决的是图像整体域的转换任务；(2)Cycle GAN，使用了无监督的方法，通过两个生成网络两个对抗网络，利用cycle-consistency loss循环的训练生成网络和对抗鉴别网络实现图像域的转换。其中，无监督的方法尽管不再需要一一配对的训练数据，但转换效果差于有监督的pix2pix网络，且针对的仍然是图像整体域的转换，在现有的图像域转换中，对于图像中局部区域的域转换任务，并没有专门的GAN。

发明内容

本发明的目的是提供一种基于生成式对抗网络的图像域转换网络和转换方法，能够实现图像中局部区域的图像域转换任务，且图像局部域转换质量高，网络判断能力强，图像转换的稳定性强，大大提高了生成的图像的真实性。

本发明采用的技术方案为：

一种基于生成式对抗网络的图像域转换网络，包括U型生成网络、真假鉴别网络和配对鉴别网络，U型生成网络包括编码网络和解码网络，编码网络的输入端接入输入图像Input，编码网络的输出端连接解码网络的输入端，解码网络的输出端输出网络生成图像Output；设与输入图像Input一一配对的真实的目标域图像为目标域图像target；网络生成图像Output作为真假鉴别网络的训练负样本输入真假鉴别网络的负样本输入端，目标域图像target作为真假鉴别网络的训练正样本输入真假鉴别网络的正样本输入端，真假鉴别网络输出的值作为真假损失值反馈至解码网络的真假损失输入端；网络生成图像Output和对应输入图像Input作为训练负样本输入配对鉴别网络的负样本输入端，目标域图像target和对应输入图像Input作为训练正样本输入配对鉴别网络的正样本输入端，配对鉴别网络输出的值作为配对损失值反馈至解码网络的配对损失输入端；将网络生成图像Output与目标域图像target之间结构相似性值作为补偿损失值反馈至解码网络的补偿损失输入端。