[发明专利]基于混合卷积网络遥感图像时空融合方法

说明书

本发明公开了一种基于混合卷积网络遥感图像时空融合方法，将三张多波段遥感图像输入网络模型中，在模型中对三张多波段图像进行拆分，将其拆分为单波段图像。随后根据遥感图像时空融合任务的特点，按照一定的波段组合及排列顺序把单波段图像送入双分支网络进行特征提取并完成单波段特征提取及单波段图像重建。2D‑CNN分支主要是提取空间信息特征，3D‑CNN比2D‑CNN多一维度，这一维度在时空融合任务中即时间维度，因此我们通过3D‑CNN分支同时提取时间变化特征和空间细节特征。本发明能够生成高时空分辨率遥感图像。

技术领域

本发明属于提高遥感图像时间分辨率和空间分辨率领域。具体涉及一种基于混合卷积网络的时空融合方法，通过双分支网络特征提取及融合，并采用一种波段迭代方法来生成同时具有高时间分辨率和高空间分辨率的遥感图像。

背景技术

遥感对地观测技术的快速发展为人类客观、全面地认识世界，提供了新的方法和手段。随着对有关遥感图像应用的科学研究越来越广泛和深入，人类通过航空航天平台上的各种遥感观测仪器，可以获取陆地、大气、海洋等各种景观反射或发射的电磁辐射数据。人类对接受到的反射率数据进行定性、定量分析之后，可将其用于地球的环境监测、生态演变、资源调查等工作中。目前，日渐增加的遥感图像数据被广泛的应用于水污染变化监测、地表温度变化监测、森林植被面积变化监测等领域。

现有的极轨卫星获取的遥感图像数据，受遥感卫星传感器硬件条件限制，使得单一类型的卫星传感器难以同时获取高时间和高空间分辨率的图像，极大的限制了遥感图像在对地观测中的应用。一般来说，高空间分辨率图像拥有较为精细的空间纹理特征，在城市空间信息提取、森林变化监测、微小目标物检测等方面应用广泛，但此类传感器一方面幅宽较窄，重访周期长，另一方面受云层影响导致地表数据的缺失，在实际应用中高空间分辨率图像数据难以实现全球范围的连续动态监测的目的；而高时间分辨率图像，幅宽较大，重访周期短，在灾害监测、地物物候变化分析等方面应用广泛，但该类图像空间分辨率较低，无法获取更多的地表细节信息。若能解决遥感图像时间与空间上的相互制约问题，获取同时具备高时间和高空间分辨率的特征，将有助于提高遥感数据在实际应用中的价值。

基于Landsat卫星数据和MODIS传感器数据的时空融合技术在过去十年中快速发展。Landsat图像用作高空间低时间分辨率(HSLT)图像，MODIS图像用作低空间高时间分辨率(LSHT)图像，研究人员将两种不同来源不同分辨率图像进行融合，可以得到密集时间序列的精细图像。目前时空融合方法主要分为4类:基于加权的方法、基于分解的方法、组合性的融合方法和基于学习的方法。所有时空数据融合方法都需要一对或多对观察到的低分辨、高分辨率图像以及一幅预测日期的低分辨率图像进行训练，输出是预测日期的高分辨率图像。从本质上讲，所有时空数据融合方法都使用来自输入的高分辨率图像的空间信息和低分辨率图像的时间信息。

遥感图像时空融合旨在通过融合两个不同的卫星数据源合成具有高时空分辨率的遥感图像。合成图像在一定误差范围内，具有高时空分辨率。图1对遥感图像时空融合进行了简单介绍：

如图1所示的时空融合方法使用的是MODIS和Landsat两种不同来源的卫星传感器数据。MDS和LST分别代表MODIS和Landsat图像，现已采集到预测日期t₁时刻的MODIS图像MDS₁以及参考日期t_k时刻同一地理区域的MODIS图像MDS_k和Landsat图像LST_k。时空融合的任务是利用已经采集到图像来预测t₁时刻下的Landsat图像LST₁。参考时刻t_k在预测时刻t₁附近选取，时间跨度不宜过大，这样预测的LST₁图像既包含MODIS图像的时间变化信息又包括Landsat图像细节纹理信息，即高时空分辨率图像。以上过程可以抽象为建立目标图像与所观测到的图像之间的映射关系，此映射关系可以通过以下公式表示出来：