[发明专利]一种基于融合互信息的对抗生成网络的图像超分辨率方法

权利要求书

1.一种基于融合互信息的对抗生成网络的图像超分辨率方法，其特征在于，包括步骤：

S1.图像预处理

将图像数据集中的高分辨图像降采样生成对应的低分辨的图像，将高分辨图像和低分辨图像一一对应打包成h5py格式，作为训练数据集；

S2.模型训练

利用训练数据集中低分辨率图像和对应的高分辨图像作为模型的输入，对应的高分辨图像作为目标高分辨图像，训练模型中的生成网络、判别网络和互信息估计网络、感知网络，得到能够对低分辨率图像进行超分辨到高分辨图像的深度神经网络模型，其超分辨倍数为4×；

其中，生成网络对低分辨比率图像进行超分辨，生成高分辨率图像，与目标高分辨率图像进行生成网络损失函数L₂计算，将生成的高分辨率图像输入到判别网络中，判别网络计算对抗损失

互信息估计网络分别将生成网络的浅层特征图和深层特征图作为互信息估计网络输入，做互信息估计网络损失函数L_mutual计算；对于感知网络，输入分别为真实的目标高分辨图像和生成的高分辨图像，做感知网络损失函数L_perceptual计算，通过判别网络判别生成的高分辨率图像的真假，并计算判别网络损失函数模型迭代多次达到稳定后完成模型训练；

S3.使用训练好的模型，对测试数据集中的低分辨率图像进行超分辨处理，测试训练好的模型的超分辨能力。

2.根据权利要求1所述的基于融合互信息的对抗生成网络的图像超分辨方法，其特征在于，步骤S1中，预处理之后的数据库图像中低分辨率图像为24*24，对应的高分辨图像为96*96，高分辨率图像作为整个模型的生成目标，即目标高分辨率图像。

3.根据权利要求1所述的基于融合互信息的对抗生成网路的图像超分辨方法，其特征在于，步骤S2包括：

S21.使用标准高斯分布随机初始化生成网络，判别网络和互信息估计网络的权重参数；

S22.将低分辨率图像输入到生成网络中，输出与目标高分辨率图像大小一致的输出图像，将生成网络的输出分别作为判别网络、互信息估计网络、感知网络输入，生成网络输出的浅层特征图和深层特征图作为互信息估计网络的输入，依次迭代使得互信息估计网络损失函数L_mutual、感知网络损失函数L_perceptual、对抗损失函数生成网络损失函数L₂均降低至趋于稳定；

S23.将生成网络生成的高分辨率图像和目标高分辨率图像输入判别网络，由判别网络判断输入图像真假，计算判别网络损失函数该判别网络损失函数只用于更新判别网络的参数；

S24.交替训练生成网络和判别网络，互信息估计网络计算互信息估计网络损失函数L_mutual，同时更新自身网络和生成网络的参数，感知网络参与训练但不更新感知网络的参数，直到所有损失函数不再降低，从而得到最终的图像超分辨模型。

4.根据权利要求3所述的基于融合互信息的对抗生成网络的图像超分辨率方法，其特征在于，整个模型的目标函数如下：

其中，λ₁，λ₂，λ₃，λ₄，λ₅为平衡因子，用于调整各个损失函数所占的权重。

5.根据权利要求3所述的基于融合互信息的对抗生成网络的图像超分辨率方法，其特征在于，

训练数据集中的图像对为[x，y]，其中，x为低分辨率图像，y为目标高分辨图像，生成网络的输出为且其中F_generator为生成网络对应的映射函数。