[发明专利]基于双判别器的生成对抗网络的图像超分辨率方法

说明书

本发明提供了一种基于双判别器的生成对抗网络的图像超分辨率方法，包括以下步骤：训练阶段构建训练样本；将训练样本输入生成式网络，生成式网络输出高分辨率图像；高分辨率图像输入对抗网络；生成式网络和对抗网络中的两个判别器依次、交替对抗学习，联合生成式网络的基于L1范数的Charbonnier损失及对抗网络中的两个判断器分别对生成式网络的损失，约束生成式网络训练直至达到收敛；测试阶段输入低分辨率的图像至训练好的生成式网络模型，超分辨重建出最终的高分辨率图像。本发明中的对抗网络通过两个分别工作在像素域和特征图域中的判别器约束生成式网络训练，进一步提升超分辨率的精度。

技术领域

本发明涉及数字图像处理领域，具体涉及一种基于双判别器的生成对抗网络的图像超分辨率方法。

背景技术

图像是人类社会中传递信息的最主要载体，图像处理领域有着重大的研究价值。在数字成像应用里，拥有高分辨率的图像尤为必要。在实际应用中，由于种种内在限制或外在影响，可能难以获得高分辨率的图像。最直接的改进方法是从成像硬件的角度进行改进，但高分辨率的光学传感器成本昂贵。从软件的角度改进，使用超分辨率算法高效、快速执行对低质图像的超分辨率具有普适性好、效率高的特点，有着广泛的使用前景。

图像超分辨率方法主要有三类，分别是基于插值、基于建模和基于学习的方法，基于学习的方法可以分为基于稀疏表示的方法和基于卷积神经网络的方法。基于插值的方法具有计算效率高的特点，但很容易丢失高频纹理细节信息。基于建模的方法利用先验信息约束解空间，效果相比基于插值的方法有一定的提升，但当输入图像尺寸较小时，能有效利用的先验信息较少，超分辨率效果比较差。基于学习的方法通过学习低、高分辨率图像之间内在关系，实现超分辨率。近年来，基于卷积神经网络的超分辨率方法取得了较高的精度。然而，卷积神经网络的卷积核平等地对待特征图的每一通道和区域，降低了网络含有丰富高频信息的通道和区域的特征表达能力。除此之外，常规卷积神经网络存在梯度消失和网络退化问题。

发明内容

本发明的目的就是针对现有技术的缺陷，提供一种基于双判别器的生成对抗网络的图像超分辨率方法，生成式网络在残差神经网络中引入混合注意力机制，在降低网络训练难度的同时增强网络的特征表达能力，加速网络收敛，提升网络性能；对抗网络通过两个分别工作在像素域和特征图域中的判别器约束生成式网络训练，进一步提升超分辨率的精度。

本发明提供了一种基于双判别器的生成对抗网络的图像超分辨率方法，其特征在于所述的基于双判别器的生成对抗网络包括基于残差神经网络和混合注意力机制的生成式网络和含有双判别器的对抗网络，该方法包括以下步骤：

a.训练阶段，构建训练样本；

b.将训练样本输入生成式网络，生成式网络输出高分辨率图像；

c.高分辨率图像输入对抗网络；对抗网络包括两个判别器，分别在像素域和特征图域中判别输入至判别器的图像是真实高分辨率图像还是生成式网络生成的高分辨率图像；

d.生成式网络和对抗网络中的两个判别器依次、交替对抗学习，联合生成式网络的基于L1范数的Charbonnier损失及对抗网络中的两个判断器分别对生成式网络的损失，约束生成式网络训练直至达到收敛；

e.测试阶段输入低分辨率的图像至训练好的生成式网络模型，超分辨重建出最终的高分辨率图像。

上述技术方案中，所述生成式网络包括特征提取单元、非线性映射单元和亚像素卷积上采样单元，特征提取单元通过卷积操作抽取输入低分辨率图像的特征表示，再输入至后续的非线性映射单元；非线性映射单元通过级联的若干个基本单元，提取更深层次的特征如边缘特征、区域特征等，并进行特征的非线性映射，再输入后续的亚像素卷积单元；亚像素卷积单元对特征图进行快速像素重排操作，得到最终输出的高分辨率图像。