[发明专利]基于对抗生成网络的红外超分辨率成像方法

权利要求书

1.一种基于对抗生成网络的红外超分辨率成像方法，其特征在于，所述方法首先合成数据集，建立生成对抗网络，然后用合成数据集对网络进行训练；训练完成后，用网络对人工合成的测试数据集和实际拍摄出的数据进行测试；

所述方法包括：

步骤1：合成数据集：利用点扩散函数对清晰图进行卷积并添加高斯模糊，后对其分别进行2倍和4倍下采样，得到的数据作为训练集；

步骤2：建立生成对抗网络：生成对抗网络由两部分组成：生成模型(generator)和判别模型(discriminator)；

生成模型由2个反卷积层和10个卷积层组成；

判别模型由4个卷积层和一个全连接层组成；两个模型交替进行训练，互相竞争；当给定判别模型时，生成模型学习数据并生成样本，并且希望样本可以“欺骗”判别模型；当给定生成模型时，判别模型学习生成模型产生的样本和真实数据并区分它们；最终的训练目标是使得判别模型无法区分生成模型输出的样本和真实数据；

其中，生成模型首先通过反卷积层对低分辨率图像进行上采样，然后通过卷积层生成清晰图像，并在后面增加ReLU单元进行激活；判别模型的输入为图像，输出为输入图像清晰的概率；使用了LeakyReLU作为激活函数；

所述生成模型的损失函数由二部分组成：

第一部分是生成对抗网络传统损失函数

式中{yⁱ,i＝1,2,3...N}为低分辨率模糊图；G为生成模型，D为判别模型，θ和ω分别为判别模型网络D和生成模型网络G中的神经元参数；如果在训练过程中只使用(1)作为损失函数，会发现生成的图像在细节部分依然比较模糊，为了获得更好的结果，在损失函数中添加了第二部分；

第二部分为像素化损失,增强生成模型的输出，使其更接近数据集中标定的清晰图；

式中{xⁱ,i＝1,2,3...N}为高分辨率清晰图；(2)减少了生成模型的输出和数据集中对应的清晰图之间像素值的差异；可以将(1)和(2)综合起来得到生成模型最终的损失函数：

式中λ为权重项，使用(3)作为训练过程中的损失函数后，图像的恢复明显改善；并且相比只使用(1)作为损失函数，图像恢复的信噪比更低；

步骤3：利用tensorflow对训练集进行训练：

对步骤1获得训练集图像进行下采样和加模糊处理后得到模糊图像，并与原图像组成数据对，得到训练数据集和测试数据集；利用tensorflow对网络进行训练；训练完成后，用真实拍摄出的模糊图像和人工合成的测试数据集对网络进行测试。

2.如权利要求1所述的基于对抗生成网络的红外超分辨率成像方法，其特征在于，步骤1获得训练集共有一万三千张灰度图像。

3.如权利要求1所述的基于对抗生成网络的红外超分辨率成像方法，其特征在于，步骤1获得训练集的图像尺寸为116×116。

4.如权利要求1所述的基于对抗生成网络的红外超分辨率成像方法，其特征在于，步骤3中对步骤1获得训练集图像进行下采样和加模糊处理后得到尺寸为29×29的模糊图像。