[发明专利]一种基于改进生成对抗网络的图像超分辨率方法

说明书

本发明涉及一种基于改进生成对抗网络的图像超分辨率方法，属于图像处理领域。获取高分辨图像数据集，将数据集分为训练集和测试集；把高分辨率图像训练集进行双三次下采样得到低分辨图像数据集；在ESRGAN的生成器模块中使用RFB模块和残差块，在ESRGAN鉴别器模块中，使用U‑net判别器代替相对判别器；在损失函数中引入LPIPS感知损失和L1损失改进GAN网络的生成损失函数。将训练集中的低分辨率图像输入到生成器G中训练，输出重建的超分辨率图像；将生成器G的输出结果和原始高分辨率图像一起输入到U‑net判别器D_U中。本发明可以有效地提高超分辨图像的质量，降低图像中的伪影和不真实的细节。

技术领域

本发明属于图像处理领域，涉及一种基于改进生成对抗网络的图像超分辨率方法。

背景技术

在图像处理领域中，图像超分辨率一直是个值得研究的课题。在互联网时代，图像超分辨在许多方面都有应用。图像超分辨技术能够采用软件的方法提升图像的分辨率，并且能够以大倍数的放大图像，并且保持图像的清晰度。这些优点在互联网通信和存储设备上得到了广泛地关注。图像超分辨技术可以很好地满足用户对图像细节方面的要求，让人类可以获得更好的视觉和交互体验。

但是现有的图像超分辨率算法，或多或少的存在一些问题。目前有三类研究方法，分别是基于插值的算法，基于重建的算法，基于学习的算法。基于插值的算法有：最近领域法、双线性插值法等，这类算法的实时性较好，但是得到的超分辨率图片的效果较差。基于重建的算法有：凸集投影法，最大后验概率等，这类算法需要图像退化的先验知识，实现重建。但得到的超分辨图像的质量会随着放大倍数的增加而急剧下降。基于学习的算法有：基于卷积神经网络的图像超分(SRCNN)，基于生成对抗网络的图像超分(SRGAN)等。这类算法，得到的超分图像质量较好，可以实现接近于原图的超分辨率重建。但也存在着一些问题，比如重建后的图片会有一些不真实的纹理和令人不愉快的伪影等。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进生成对抗网络的图像超分辨率方法。

为达到上述目的，本发明提供如下技术方案：

一种基于改进生成对抗网络的图像超分辨率方法，该方法包括以下步骤：

S1：获取高分辨率图像数据集，采用双三次插值的方法下采样，获得相应的低分辨率图像，并随机将其分成训练集和测试集；

S2：在ESRGAN的生成器模块中使用RFB(Receptive Field Block)模块和残差块，在ESRGAN鉴别器模块中，使用U-net判别器代替相对判别器；

S3：在损失函数中引入LPIPS感知损失和L1损失改进GAN网络的的生成损失函数；

S4：将训练集中的低分辨率图像输入到生成器G中训练，输出重建的超分辨率图像；

S5：将生成器G的输出结果和原始高分辨率图像一起输入到U-net判别器DU中。

可选的，所述双三次插值的方法下采样的倍数分别为2倍和4倍。

可选的，所述使用U-net判别器代替相对判别器具体为：把相对判别器D改为U-net判别器D_U；U-net判别器判断生成图像的真实性，损失函数为：

其中E为取均值操作，为U-net鉴别器编码器部分的损失函数，为U-net鉴别器解码器部分的损失函数，L_cons为U-net鉴别器的CutMix正则化函数；D_enc为U-net鉴别器的编码器部分，D_dnc为U-net鉴别器的解码器部分。