[发明专利]基于对抗生成网络的红外超分辨率成像方法

说明书

本发明属于红外成像技术领域，具体涉及一种基于对抗生成网络的红外超分辨率成像方法。所述方法首先合成数据集，建立生成对抗网络，然后用合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试。与现有技术相比较，本发明采用卷积神经网对图像进行超分辨率和去模糊的处理。相对于传统的超分辨率和去模糊的方法，卷积神经网络可以直接对图像进行超分辨率和去模糊的处理，不需要估计模糊程度以及响应函数。因此对于不同场景下图像的超分辨率问题具有更强的适应性。

技术领域

本发明属于红外成像技术领域，具体涉及一种基于对抗生成网络的红外超分辨率成像方法。

背景技术

红外成像技术在国民经济和军事国防等领域得到了越来越广泛的应用。在空间光学红外成像中，由于光学系统自身的衍射和像差、大气扰动、空间相机与拍摄场景的相对复合运动、相机离焦等因素影响，相机获得的红外图像会存在模糊，影响红外图像中感兴趣目标的判读。

图像去模糊和超分辨率方法一直以来都是图像处理领域的难点和热点。近年来，随着深度学习在图像处理领域的应用，卷积神经网被利用处理超分辨率和去模糊问题，并取得了良好的效果。但是，现有的方法都是将超分辨率和去模糊分开进行研究，模糊核的种类常常是单一的高斯核，对于实际成像过程中的复杂情况会出现结构扭曲现象。因此，如何利用神经网络处理图像去模糊和超分辨率，依然是一个具有挑战性的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何克服现有超分辨率方法的不足，对图像进行处理，将模糊的低分辨率图像恢复成清晰的高分辨率图像。

(二)技术方案

为解决现有技术问题，本发明提供一种基于对抗生成网络的红外超分辨率成像方法，所述方法首先合成数据集，建立生成对抗网络，然后用合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试。

其中，所述方法包括：

步骤1：合成数据集：利用点扩散函数对清晰图进行卷积并添加高斯模糊，后对其分别进行2倍和4倍下采样，得到的数据作为训练集；

步骤2：建立生成对抗网络：生成对抗网络由两部分组成：生成模型(generator)和判别模型(discriminator)；

生成模型由2个反卷积层和10个卷积层组成；

判别模型由4个卷积层和一个全连接层组成；两个模型交替进行训练，互相竞争；当给定判别模型时，生成模型学习数据并生成样本，并且希望样本可以“欺骗”判别模型；当给定生成模型时，判别模型学习生成模型产生的样本和真实数据并区分它们；最终的训练目标是使得判别模型无法区分生成模型输出的样本和真实数据；

其中，生成模型首先通过反卷积层对低分辨率图像进行上采样，然后通过卷积层生成清晰图像，并在后面增加ReLU单元进行激活；判别模型的输入为图像，输出为输入图像清晰的概率；使用了LeakyReLU作为激活函数；

所述生成模型的损失函数由二部分组成：

第一部分是生成对抗网络传统损失函数

式中{yⁱ,i＝1,2,3...N}为低分辨率模糊图；G为生成模型，D为判别模型，θ和ω分别为判别模型网络D和生成模型网络G中的神经元参数；如果在训练过程中只使用(1)作为损失函数，会发现生成的图像在细节部分依然比较模糊，为了获得更好的结果，在损失函数中添加了第二部分；

第二部分为像素化损失,增强生成模型的输出，使其更接近数据集中标定的清晰图；