[发明专利]基于内容感知深度学习网络的遥感图像超分辨率重建方法

说明书

本发明公开了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，本发明提出了图像内容复杂性的综合度量指标及计算方法，以此为基础，将样本图像按内容复杂性分类，构建和训练高、中、低三种复杂性不等的深层GAN网络模型，然后根据待超分的输入图像的内容复杂性，选取对应的网络进行重建。为了提高GAN网络的学习性能，本发明同时给出了一种优化的损失函数定义。本发明方法克服了基于机器学习的超分辨率重建中普遍存在的过拟合和欠拟合的矛盾，有效提升了遥感影像的超分辨率重建精度。

技术领域

本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种基于内容感知深度学习网络的遥感图像超分辨率重建方法。

背景技术

高空间分辨率的遥感影像可以对地物进行更加精细的描述，提供丰富的细节信息，因此，人们往往希望能够获取高空间分辨率的影像。随着空间探测理论和技术的迅速发展，米级甚至亚米级空间分辨率的遥感影像(如IKNOS和QuickBird)已逐步走向应用，然而其时间分辨率普遍比较低。与此相反，一些具有较低空间分辨率的传感器(如MODIS)却具有很高的时间分辨率，它们可以在短时内获取大范围的遥感影像。如果能从这些较低空间分辨率的影像中重建出高空间分辨率的影像，那么就能够获取到同时具有高空间分辨率和高时间分辨率的遥感影像。因此，对较低分辨率的遥感影像进行重建得到较高分辨率的影像是非常必要的。

近年来，深度学习被广泛用于解决计算机视觉和图像处理中的各种问题。2014年，香港中文大学的C.Dong等人率先将深度CNN学习引入图像的超分辨率重建，取得了较过去的主流的稀疏表达的方法更好的效果；2015年，韩国首尔国立大学的J.Kim等人进一步提出了基于RNN的改进方法，性能有进一步的提升；2016年，Google公司的Y.Romano等人发展了一种快速而精确的学习方法；随后不久，Twitter公司的C.Ledig等人将GAN网络(产生式对抗网络)用于图像超分辨率，取得了迄今为止最好的重建效果。而且，GAN的底层是深度信念网络，不再严格依赖于有监督的学习，即使在没有一对一的高低分辨率图像样本对的情况下也能训练。

在深度学习模型和网络架构确定后，基于深度学习的超分辨率方法的性能很大程度上由网络模型训练的好坏决定。深度学习网络模型的训练并非越彻底越有效，而是应该进行充分而适宜的样本学习(正如深层网络模型的层数并非越多越好一样)。对于复杂的图像，需要更多的样本训练，这样才能学到更多的图像特征，但这样的网络对内容简单的图像容易出现过拟合，致使超分辨率结果模糊；反之，减少训练强度，能避免内容简单图像的过拟合现象，但会造成内容复杂图像的欠拟合问题，降低了重构图像的自然度和保真度。如何做到训练的网络能同时兼顾内容复杂和简单的图像高质量重建的需求，是实际超分辨率应用中基于深度学习的方法不能回避的问题。

发明内容

为了解决上述技术问题，本发明提出了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法。

本发明所采用的技术方案是：一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：收集高低分辨率遥感图像样本，并进行分块处理；

步骤2：计算每个图像块的复杂度，按复杂度分成高、中、低三类，分别构成高、中、低复杂度的训练样本集；

步骤3：利用获得的样本集分别训练高、中、低复杂度的三种GAN网络；

步骤4：计算输入图像的复杂度，根据复杂度选取对应的GAN网络重建。

与现有的图像超分辨率方法相比，本发明具有以下优点和积极效果：

(1)本发明通过运用图像分类这一简单思想，成功克服了基于机器学习的超分辨率重建中普遍存在的过拟合和欠拟合的矛盾，有效提升了遥感影像的超分辨率重建精度；