[发明专利]一种基于生成对抗网络的多域图像转换方法与系统

说明书

本发明公开了一种基于生成对抗网络的多域图像转换方法与系统，本发明的多域图像转换方法包括输入指定的X、Y两个模态的原图x、原图y；在重建训练部分针对原图x、原图y分别进行编、解压，分别得到原图特征、重建图、重建特征，并进行特征和图的模态鉴别对抗学习；循环训练部分基于前文的原图特征交换模态的编码器生成重建图、重建图特征以及循环重建图，并再次进行特征和图的模态鉴别对抗学习，最终将循环重建图输出。本发明采用半监督学习方法，既可以利用已有的标签数据也可以使用无标签数据，本发明能够实现多向的多域图像转换而不限于单向域转换或双向的二域转换，对域的数量没有限制，能解决图像风格迁移和医学图像多模态转换等问题。

技术领域

本发明涉及深度学习领域的图像生成技术，具体涉及一种基于生成对抗网络的多域图像转换方法与系统。

背景技术

近年来，卷积神经网络(Convolution Neural Network，简称CNN)在计算机视觉、自然语言处理、医学图像处理等领域表现出了优异性能，以其为代表的深度学习迅速成为当前人工智能技术研究的核心。而在2014年生成对抗网络(Generative AdversarialNetwork，简称GAN)的出现也为深度学习带来了新的思路，2016年GAN与CNN结合，此后GAN被广泛的应用在许多计算机视觉任务中。

GAN是一种训练框架，由一个生成器(Generator)和一个鉴别器(Discriminator)两部分组成，且生成器与鉴别器是对抗(Adversarial)关系。GAN的原理如名字所示，生成器是一个生成图像的网络，它接收一张输入图像，经过网络得到一张生成图像，而鉴别器是一个鉴别网络，鉴别一张图像是不是“真实的”，它对输入图像进行鉴别，输出这张图像为真实图像的概率，如果为1，表示是真实图像，如果为0，表示不是真实图像。在GAN的训练过程中，生成器的目标就是尽量生成真实的图像去欺骗鉴别器。而鉴别器的目标就是尽量把生成器生成的图像和真实的图像分别开来。这样，生成器和鉴别器构成了一个动态的“博弈过程”，理想的博弈结果是：生成器可以生成足以“以假乱真”的图像，而对于鉴别器来说，它难以鉴别生成器生成的图像究竟是不是真实的，因此输出的概率为0.5。

随着GAN的发展，出现了大量基于图像生成的任务，其中图像到图像的转换是热点研究问题，但是基于GAN的图像转换方法只能将图像单向地从一个域转换为另一个域，对此，一些研究提出了可实现图像到图像的多域转换方案或模型，如循环生成对抗网络(Cycle Generative Adversarial Network，简称CycleGAN)。

CycleGAN可以实现两个域的无配对图像转换，本质上是由两个镜像对称的GAN构成一个环形网络，两个GAN包含两个生成器和两个模态鉴别器。GAN模型从模态A获取输入图像，通过A2B生成器将模态A的输入图像转换得到模态B的生成图，然后再用B2A生成器将模态B的生成图转换得到模态A的循环重建图。另一个GAN镜像对称，模态A鉴别器对模态A原图和模态A生成图鉴别，模态B鉴别器对模态B原图和模态B生成图鉴别。且循环重建图像必须与原始输入图像相似，用来定义非配对数据集中原来不存在的映射。