[发明专利]基于双判别器的生成对抗网络的图像超分辨率方法

权利要求书

1.一种基于双判别器的生成对抗网络的图像超分辨率方法，其特征在于所述的基于双判别器的生成对抗网络包括基于残差神经网络和混合注意力机制的生成式网络和含有双判别器的对抗网络，该方法包括以下步骤：

a.训练阶段，构建训练样本；

b.将训练样本输入生成式网络，生成式网络输出高分辨率图像；

c.高分辨率图像输入对抗网络；对抗网络包括两个判别器，分别在像素域和特征图域中判别输入至判别器的图像是真实高分辨率图像还是生成式网络生成的高分辨率图像；

d.生成式网络和对抗网络中的两个判别器依次、交替对抗学习，联合生成式网络的基于L1范数的Charbonnier损失及对抗网络中两个判别器分别对生成式网络的损失，约束生成式网络训练直至达到收敛；

e.测试阶段输入低分辨率的图像至训练好的生成式网络模型，超分辨重建出最终的高分辨率图像；

采用基于L1范数的Charbonnier损失L1～Charbonnier～Loss，量化超分辨得到的高分辨率图像和真实高分辨率图像的相似程度，训练过程采用小批量学习；生成式网络采用的损失函数的表达式为：

其中ε取10^-6，H,W,C分别为输入图像的尺寸和通道数，n为小批量学习的数目；表示第v张真实的高分辨率图像的第k通道的位置为(i,j)的像素值；表示第v张执行超分辨率得到的高分辨率图像的第k通道的位置为(i,j)的像素值；I^SR为执行超分辨率得到的高分辨率图像；

联合生成式网络的基于L1范数的Charbonnier损失及双判别器对生成式网络的损失，训练网络模型直至达到收敛，工作在像素域中的判别器对生成式网络的损失与工作在特征图域中的判别器对生成器的损失的表达式分别为：

其中D_WGAN为判别器的抽象函数，x～p_g指样本x服从生成样本数据分布，其中x～p_r指样本x服从真实数据分布，VGG(·)用于得到经过VGG-19网络第五次最大池化之后，第四次卷积之前的特征图；

联合生成式网络的基于L1范数的Charbonnier损失及双判别器对生成式网络的损失，训练网络模型直至达到收敛，生成器的损失函数由三部分加权组成，表达式为：

其中λ₁,λ₂为平衡基于L1范数的Charbonnier损失和基于Wasserstein距离的双判别器分别对生成式网络的损失因子，网络在训练阶段的目标是最小化损失函数L_G，L_G越小，执行超分辨率得到的高分辨率图像与真实高分辨率图像的差异越小，超分辨率的效果越好，精度越高。

2.根据权利要求1所述的基于双判别器的生成对抗网络的图像超分辨率方法，其特征在于生成式网络包括特征提取单元、非线性映射单元和亚像素卷积上采样单元；特征提取单元通过卷积操作抽取输入低分辨率图像的特征表示，再输入至后续的非线性映射单元；非线性映射单元通过级联的若干个基本单元，提取更深层次的特征如边缘特征、区域特征，并进行特征的非线性映射，再输入后续的亚像素卷积单元；亚像素卷积单元对特征图进行快速像素重排操作，得到最终输出的高分辨率图像。

3.根据权利要求2所述的基于双判别器的生成对抗网络的图像超分辨率方法，其特征在于生成式网络中的非线性映射单元包括32个级联的基本单元；每个基本单元由级联的卷积层、激活层、卷积层、混合注意力块组成，还包括将基本单元的输入传输至基本单元的输出的局部跳连结构；非线性映射单元还包括全局跳连结构，将顶层的基本单元的输入传输至和底层的基本单元的输出，使生成式网络学习输入、输出特征图之间的残差。

4.根据权利要求3所述的基于双判别器的生成对抗网络的图像超分辨率方法，其特征在于混合注意力块由级联的卷积层、激活层组成；针对输入的特征图一步学习相应的描述符，描述符用于给不同通道和不同区域赋不同的权值。