[发明专利]一种基于改进生成对抗网络的图像超分辨率方法

权利要求书

1.一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：该方法包括以下步骤：

S1：获取高分辨率图像数据集，采用双三次插值的方法下采样，获得相应的低分辨率图像，并随机将其分成训练集和测试集；

S2：在ESRGAN的生成器模块中使用RFB(Receptive Field Block)模块和残差块，在ESRGAN鉴别器模块中，使用U-net判别器代替相对判别器；

S3：在损失函数中引入LPIPS感知损失和L1损失改进GAN网络的的生成损失函数；

S4：将训练集中的低分辨率图像输入到生成器G中训练，输出重建的超分辨率图像；

S5：将生成器G的输出结果和原始高分辨率图像一起输入到U-net判别器D_U中。

2.根据权利要求1所述的一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：所述双三次插值的方法下采样的倍数分别为2倍和4倍。

3.根据权利要求1所述的一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：所述使用U-net判别器代替相对判别器具体为：把相对判别器D改为U-net判别器D_U；U-net判别器判断生成图像的真实性，损失函数为：

其中E为取均值操作，为U-net鉴别器编码器部分的损失函数，为U-net鉴别器解码器部分的损失函数，L_cons为U-net鉴别器的CutMix正则化函数；D_enc为U-net鉴别器的编码器部分，D_dnc为U-net鉴别器的解码器部分。

4.根据权利要求1所述的一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：所述在ESRGAN的生成器模块中使用RFB模块和残差块具体为：

网络的前半段为SCDB残差块，后半段为RFB模块，为加快重建速度，在上采样U-PA模块中使用像素注意力机制模块PA。

5.根据权利要求1所述的一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：所述S3具体为：

L_G＝λ₁L₁+λ₂L_Lpips+λ₃L_fm+λ₄L_adv

式中L₁为重建图像HR与原始图像GT像素之间的一范数；L_Lpips为LPIPS感知损失函数，L_fm为生成器的正则化项，具体为U-net判别器中每层解码器和编码器的差值；L_adv为对抗损失函数；λ₁,λ₂,λ₃,λ₄为平衡各项参数的超参；

式中，H,W为图片的高和宽，h,w为patch的高和宽，y,y₀分别为HR和GT的特征图；

式中，E为取均值操作，z为输入的低清图像LR，D_enc为U-net鉴别器的编码器输出，D_dnc为U-net鉴别器的解码器输出，G(z)为生成器的输出的图像HR。

6.根据权利要求5所述的一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：所述S4具体为：

将输入的低分辨率图像分成设定大小的图像块；

将得到的图像块输入到生成器G中进行训练，输出设定个数的特征图；

将生成器前半部分的若干SCDB残差卷积层输出的特征图输入到后半部分的RFB模块；

将得到的特征图输入到上采样模块U-PA中，经过上采样后得到输出结果。

7.根据权利要求6所述的一种基于改进生成对抗网络的图像超分辨率方法，其特征在于：所述S5具体为：

S5.1：在U-net判别器中，鉴别器分为两个部分，解码器和编码器，先用大小为3×3的卷积核对输入的生成的超分辨图像和原高分辨率图像对做卷积处理；

S5.2：将得到的特征图经过批量归一化卷积层；

S5.3：将S5.3得到的特征图经过池化层，使其特征图的大小缩小一半；

S5.4：将上一步得到特征图经过LeakyReLU激活函数，输出非线性特征图；

S5.5：将上述S5.2～S5.4步骤重复设定次数，且卷积核都为3×3，卷积核的数量以2倍的速率由64增长到1024；

S5.6：将S5.5得到的特征图输入到一个全连接层，得到编码器输出；

S5.7：将S5.5得到的特征图送入解码器模块中，先将特征图上采样；

S5.8：将S5.7得到的特征图经过一个3×3的卷积层、上采样层、批量归一化层以及LeakyReLU激活函数；

S5.9：将上述S5.7～S5.8步骤重复设定次数，且卷积核都为3×3，卷积核的数量以2倍的速率由1024减少到64；

S5.10：将S5.9得到的特征图输入到一个全连接层中，得到解码器的输出；

S5.11：最后根据编码器和解码器的输出综合判断生成的图像是否真实。