[发明专利]一种基于生成式对抗网络和ResNets技术的图像转换方法及系统

说明书

本发明属于图像处理技术领域，公开了一种基于生成式对抗网络和ResNets技术的图像转换方法及系统，图像转换方法包括：首先利用两个GAN的对抗机制与范数损失函数结合的对偶学习的方法，设计了增强的高分辨率对偶GAN图像转换算法，该模型能采用无标签数据集、实现基于无监督学习的图像转换；其次通过引入重建一致性损失函数约束条件，实现从源分布转换为目标分布，然后重建源分布；最后在鉴别器中增加了稳定归一化层。与Pix2pixGAN,CycleGAN,DualGAN生成图像分辨率相比，本发明提出的ERGAN算法PSNR/SSIM的平均值分别提高了16％/35％，2％/9％，4％/6％。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于生成式对抗网络和ResNets技术的图像转换方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

图像转换最近获得了越来越多的研究关注。图像转换旨在将原始域中的图像映射到另一域中的图像，即将给定的样本图像转成为各种新场景，例如不同季节间、不同的气候间、一天中不同时段的场景间的转换，许多计算机视觉和图像处理任务，特别是图像分割和图像超分辨率也可以被视为图像转换。目前，基于深度学习的图像转换主要应用于数据增强。基于图像转换的数据增强技术在目标检测、目标分割、强化学习等领域得到广泛应用。

迄今为止，传统图像转换方法已经在有监督学习下进行了训练，需要具有特定注释的大量配对数据集。然而，在实践中获取这样训练样本是耗时且困难的。因此，设计一种能够在使用不配对、无标签的图像数据集的情况下、将图像从源域转换到目标域的网络框架是很重要的。

生成对抗网络(GAN)中，生成器试图捕获实际数据的分布,而鉴别器学会区分真实数据和由生成器生成的数据，通过生成器和鉴别器的对抗学习机制，达到纳什平衡，即生成器生成逼真的图像，并不能被鉴别器判别。研究人员已经提出了一系列衍生的GAN系列算法来解决图像转换问题，例如Pix2pixGAN、CycleGAN、DualGAN、DisGAN等。这些算法生成器网络的结构很难提取低维空间特征信息，因此不能生成具有真实细节的高分辨率图像。

综上所述，现有技术存在的问题是：

传统ResNets结构的难以提取输入图像的低维空间的特征信息，这导致基于该结构的图像转换难以生成高分辨率图像，并且生成的图像缺乏细节和逼真的纹理。另外，网络的训练速度慢。

基于GAN、DCGAN、BlurGAN等传统图像转换算法往往只能实现单一的转换风格，不能实现多种图像转换任务。

CGAN、Pix2PixGAN和CoGAN等基于GAN的改进的图像转化方法难以发现重建的源图像与真实的源图像之间的特征相关性，另外还需要成对、有标签数据的图像数据集来训练GAN网络。

GAN及其改进算法面临存在的最大挑战是保证鉴别器网络训练过程的稳定性，特别是在高维空间中，鉴别器训练过程中的密度比估计经常是不稳定的，这导致生成器网络不能得到充分的训练，生成图像同时具有源图像和目标图像的特征。

解决上述技术问题的难度和意义：

难点：1)基于深度学习图像转换需要大量标签数据集训练。为了解决这个问题，目前研究人员通过生成式对抗网络技术实现图像转换，但是这样需要成对图像数据集进行训练。最近研究成果CycleGAN和DualGAN利用非成对数据进行训练，但是这两种算法不能相互学习源域图像与目标图像之间特征相关性。除了这些困难之外，在本发明设计图像转换框架中，还会采用相互对偶GAN，然而仅仅只有相互对偶GAN不能发现源域与目标域之间特征相关性。