[发明专利]基于二重判别器生成对抗网络的无监督红外单图超分方法

说明书

本发明涉及基于二重判别器生成对抗网络的无监督的红外单图超分，包括1.构造学习框架，构造一个非配对的无监督学习框架，包括生成对抗网络和内容约束模块，生成对抗网络包括生成器和判别器，学习框架从图像中提取红外特征，生成逼真的超分红外图像；2.搭建二重判别器结构，3.模块联合，4.创建数据集。本发明使超分图像具有噪声小、边缘纹理清晰、对比度高的优点；通过超分图像的退化图像和预先插值放大的图像保留、维持低频信息；利用风格‑纹理双判别器在对图像的高频信息进行重构的同时，保持整体图像风格的和谐统一和避免异常像素的产生；改进判别器结构，利用像素级别的真假判别矩阵增强对纹理细节信息的重建。

技术领域

本发明涉及一种基于二重判别器生成对抗网络的无监督红外单图超分方法，属于图像处理技术领域。

背景技术

随着计算机技术的进步，各领域对高质量红外图像的需求不断增加，如：视频监控、医疗诊断和遥感等等。但是由于红外传感器技术的限制，如红外光学衍射效应和传感器响应不均匀等问题，红外成像系统获取的红外图像往往分辨率低、噪声大、对比度差；此外，同等分辨率的红外成像系统远比可见光成像系统昂贵，所以难以广泛应用。增大感光器尺寸和减小像元尺寸等改进硬件设计的方案是提高成像质量最根本和最直接的方式，但需要漫长的技术积累，而且无法避免传感器的物理极限。近年来随着视觉增强技术的发展，超分辨率视觉算法实现了提高图像分辨率、改进图像质量的功能，相较于改进传感器的路线，从数据层面优化成像质量，可以更加直接地增强数据视觉观感，有着巨大潜力。因此通过设计红外图像的超分重建算法放大红外分辨率、补充高频信息可以拓展成像系统极限性能，有效降低红外成像成本，具有非常重要的意义。

单图超分是基于单张低分辨率图像反向求解高分辨率图像，用于提升空间传感器分辨率的超分算法。考虑到红外成像系统的常用技术：非均匀性校正，会不定期改变成像特性，相较于基于多张低分辨率图像求解高分辨率图像的多图超分，单图超分更适合红外图像的超分重建。基于神经网络的可见光图像的单图超分已经发展得十分丰富，但是由于红外图像和可见光图像的成像原理及特性不同，可见光图像的单图超分的研究成果并不能直接应用到红外图像上。此外，红外数据的缺乏也进一步加剧了红外图像单图超分的研究的缺乏。由于红外图像分辨率低、噪声大、对比度差，相较于可见光图像的超分技术面临的研究挑战，红外图像对这些难题的攻克更为迫切。

目前，基于神经网络的超分大多搭建一个端到端的依赖于配对数据集的监督网络：把高分辨率的原始传感器图像及其由双三次插值降采样生成的低分辨率图像作为配对数据集，网络训练由像素级别的损失进行监督约束。然而，这种依赖配对数据集的监督训练策略并不令人信服。首先，像素级别的监督会导致网络生成的像素趋于平均，超分图像过平滑，不符合人眼观感。其次，高分辨率图像和低分辨率图像实际是十分复杂的非线性对应关系，由双三次插值进行降采样构成的配对数据集会导致训练网络有过拟合的倾向，这样的网络在真实图像上应用时超分的效果较差。针对像素级别监督导致图像过平滑的问题，Christian等人引入生成对抗网络，通过像素约束、对抗约束、特征约束等联合约束，使超分图像更逼近真实图像。此后，一些工作延续该思路，通过改进约束方式或网络模型等方法优化超分图像。但是，超分图像与自然图像仍然存在较大差异，如伴随着大量异常像素点等，因此还需要进一步改进判别器的约束效果。针对配对数据集导致网络训练过拟合的问题，主流研究的解决策略基本是设计生成更复杂或者更真实的与高分辨率图像对应的低分辨率图像，以此丰富配对数据集中的构成，改善真实低分图像送入网络后生成的超分图像特性，尽管如此，仍然有文献证明，没有可用的真实的高低分图像对。因此不可避免地要探寻不依赖于配对数据集的无监督的超分算法。Yuan Yuan等人提出CinCGAN网络和Zhi-SongLiu等人提出dSRVAE网络就该问题进行探讨。但CinCGAN网络依赖现有的监督的超分网络模型进行调优训练，dSRVAE网络中类似迭代反投影的约束可能导致图像模糊，此外两者是针对可见光图像的研究，视觉和指标上的提升也得益于超分模块前的降噪模块，而降噪模块并不适用于分辨率低、对比度差、信噪比低的红外图像，因此不依赖于配对数据集的红外图像的无监督超分算法仍有很多研究和突破空间。

发明内容