[发明专利]一种基于融合互信息的对抗生成网络的图像超分辨率方法

说明书

本发明公开基于融合互信息的对抗生成网络的图像超分辨率方法，包括步骤：将图像数据集中的高分辨图像降采样生成对应的低分辨的图像，将高分辨图像和低分辨图像一一对应打包成h5py格式，作为训练数据集；利用训练数据集中低分辨率图像和对应的高分辨图像作为模型的输入，对应的高分辨图像作为目标高分辨图像，训练模型中的生成网络、判别网络和互信息估计网络，得到能够对低分辨率图像进行超分辨到高分辨图像的深度神经网络模型；使用训练好的模型，对测试数据集中的低分辨率图像进行超分辨处理。本发明通过基于融合互信息的对抗生成网络的图像超分辨率模型，可以生成在感知上效果非常好的图像。

技术领域

本发明涉及像超分辨率技术领域，特别是涉及一种基于融合互信息的对抗生成网络的图像超分辨率方法。

背景技术

图像超分辨率，指的是从给定的一张低分辨图像中推理恢复出对应的高分辨图像(我们一般研究单张图像的超分辨率，即只有一张低分辨率图像作为参考)。图像超分辨率是计算机视觉和图像处理中一个重要的任务，并且受到了AI公司和研究社区的广泛关注。在现实世界的很多场景下都能够看到广泛的应用，比如，医疗摄影、视频监控和卫星遥感图像等等。除了提高图像的视觉质量外，图像超分辨率还为其他的计算机视觉和图像处理任务提供帮助，比如，人脸识别、上妆和转脸等。所以图像超分辨率具有重要的研究意义。但是这个问题仍然具有挑战性，因为这是一个典型的病态问题，即给定一张低分辨率的图像，可能存在多张对应的高分辨率图像。

随着社会的不断进步，人们在满足日常所需之时，也对各方面的需求不断提高，包括网络游戏、视频通话和拍照质量等等。高质量的图像对于用户的体验和市场的竞争都具有重要的意义。而现有图像超分辨率技术有待进一步提升，以进一步的满足社会的需要。因此，在这样的背景下，开发一种新型的图像超分变率方法是很有必要的。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于融合互信息的对抗生成网络的图像超分辨率方法，以提高图像超分辨率生成质量，并降低不确定性，可以将低分辨率图像超分辨到高分辨率图像，超分辨倍数为4×，并且超分辨后生成的高分辨率图像具有丰富的纹理细节。

为实现本发明的目的所采用的技术方案是：

一种基于融合互信息的对抗生成网络的图像超分辨率方法，包括步骤：

S1.图像预处理

将图像数据集中的高分辨图像降采样生成对应的低分辨的图像，将高分辨图像和低分辨图像一一对应打包成h5py格式，作为训练数据集；

S2.模型训练

利用训练数据集中低分辨率图像和对应的高分辨图像作为模型的输入，对应的高分辨图像作为目标高分辨图像，训练模型中的生成网络、判别网络和互信息估计网络、感知网络，得到能够对低分辨率图像进行超分辨到高分辨图像的深度神经网络模型，其超分辨倍数为4×；

其中，生成网络对低分辨比率图像进行超分辨，生成高分辨率图像，与目标高分辨率图像进行生成网络损失函数L₂计算，将生成的高分辨率图像输入到判别网络中，判别网络计算对抗损失

互信息估计网络分别将生成网络的浅层特征图和深层特征图作为互信息估计网络输入，做互信息估计网络损失函数L_mutual计算；对于感知网络，输入分别为真实的目标高分辨图像和生成的高分辨图像，做感知网络损失函数L_perceptual计算，通过判别网络判别生成的高分辨率图像的真假，并计算判别网络损失函数模型迭代多次达到稳定后完成模型训练；

S3.使用训练好的模型，对测试数据集中的低分辨率图像进行超分辨处理，测试训练好的模型的超分辨能力。

其中，步骤S1中，预处理之后的数据库图像中低分辨率图像为24*24，对应的高分辨图像为96*96，高分辨率图像作为整个模型的生成目标，即目标高分辨率图像。