[发明专利]基于二重判别器生成对抗网络的无监督红外单图超分方法

权利要求书

1.基于二重判别器生成对抗网络的无监督红外单图超分方法，其特征在于：包括以下步骤：

步骤1：构造学习框架，构造一个非配对的无监督学习框架，所述非配对的无监督学习框架包括生成对抗网络和内容约束模块，所述生成对抗网络包括生成器和判别器，所述非配对的无监督学习框架从图像中提取红外特征，生成逼真的超分红外图像；

步骤2：搭建二重判别器结构，构造一种二重判别器模块结构同时改善判别器约束能力，以增强超分图像生成过程中的全局结构特性和局部高频细节，二重判别器由风格判别器和纹理判别器构成，风格判别器读取大图像块，给出全局的真假判定，致力于抑制异常像素点的产生和维持图像整体视觉感受统一协调，纹理判别器读取小图像块，给出局部的真假判定，致力于提升纹理细节的重建效果，所述风格判别器使用绝对概率，如公式（1）和（2）所示

（1）

（2）

式中，L_r是由真实图像裁剪的大图像块，L_f是由超分图像裁剪的大图像块，D(·)代表风格判别器的最终输出，C_style代表风格判别器网络，σ代表sigmoid函数；与风格判别器不同，纹理判别器使用相对平均概率，指导生成器生成更真实的纹理信息，如公式（3）和（4）所示

（3）

（4）

式中，S_r是由真实图像裁剪的小图像块，S_f是由超分图像裁剪的小图像块，D_Ra(·)代表纹理判别器的最终输出，C_texture代表纹理判别器网络，E[·]代表均值计算；

因此，风格判别器的生成对抗损失函数如公式（5）和（6）所示

（5）

（6）

式中，R代表的是真实图像域，F代表超分图像域；

纹理判别器的生成对抗损失函数如公式（7）和（8）所示

（7）

（8）；

步骤3：模块联合，内容约束模块和风格-纹理判别器模块联合约束网络收敛，内容约束模块在超分时维持低频信息不损坏、不遗漏，保留图像的基本内容信息，约束超分图像的低频信息与预先插值放大的图像一致，对只包含超分图像的低频信息的图像和预先插值放大的图像约束采取的方式是最小化均方误差, 如公式（9）所示

（9）

式中，代表内容约束，x是传感器图像，r是基于像素的r阶估计，U是插值函数，W和H是目标尺寸，ψ是提取超分图像低频信息的函数，f_θ是超分网络，总的损失函数如公式（10）所示

（10）

式中，α、β、γ代表各约束的权重，代表风格判别器约束，代表纹理判别器约束；

步骤4：创建数据集，创建红外超分辨率数据集并提出评估红外超分图像的非参考评价方法，所述数据集包括模拟数据集和红外图像数据集，模拟数据集对消融实验的定量和定性分析，红外图像数据集比较超分算法在真实图像上的重建效果。

2.根据权利要求1所述的基于二重判别器生成对抗网络的无监督红外单图超分方法，其特征在于：所述步骤1中非配对的无监督学习框架设置有无监督超分网络，所述无监督超分网络将低分图像装换成超分图像，所述真实图像不经过降采样，真实图像直接进入无监督超分网络获得超分图像。

3.根据权利要求1所述的基于二重判别器生成对抗网络的无监督红外单图超分方法，其特征在于：所述内容约束模块在图像超分时维持低频信息不损坏，不遗漏，保留图像的内容信息。

4.根据权利要求1所述的基于二重判别器生成对抗网络的无监督红外单图超分方法，其特征在于：所述模拟数据集包括训练集和测试集，所述训练集和测试集的数据互不包含，所述测试集的不同分辨率图像经过尺寸缩放后像素精准对应。

5.根据权利要求4所述的基于二重判别器生成对抗网络的无监督红外单图超分方法，其特征在于：所述训练集包含400张原始图像，所述测试集包含100张原始图像和100张高清图像。