[发明专利]基于金字塔调制注入的多光谱与全色遥感影像融合方法

说明书

本发明公开了一种基于金字塔调制注入的多光谱与全色遥感影像融合方法，首先将一对多光谱影像和全色影像进行分割，得到多组内容相同的配对的多光谱影像块和全色影像块；然后进行特征空间映射与转换，得到光谱映射向量和空间映射向量；接下来进行特征提取，再根据光谱特征图和空间特征图得到注入系数，将注入系统注入到光谱特征图中，得到空谱联合特征；最终经过上两轮上采样得到同时具备高空间分辨率和高光谱分辨率的影像。本发明依靠光谱信息和空间信息的全局依赖关系完成对多光谱影像的空间分辨率提升，使得融合影像在光谱和空间域上做到了有效的双重保真。

技术领域

本发明属于图像处理技术领域，具体涉及一种多光谱与全色遥感影像融合方法。

背景技术

基于多光谱影像与全色影像的遥感影像融合任务的目标是：充分利用高分辨率全色影像和低分辨率多光谱影像，得到同时具有高空间分辨率、高光谱分辨率的融合影像。

现有融合方法可以划分为传统线性和深度学习这两类的方法。传统方法采用空间转换，空间分解操作或手工添加一定的约束内容在融合的过程中，在过去的一段时间里，这些方法都取得了不错的效果。但随着深度学习的兴起，传统方法有限的学习能力暴露了出来，而深度学习方法能够客观，自动地学习特征，并以极强的非线性能力和简洁的优化方式，使得融合方法的性能得到大幅提升。下面将对目前存在的深度学习融合方法进行详细的描述。

第一个是Deng等人在文献“L.Deng,G.Vivone,C.Jin,and J.Chanussot,DetailInjection-Based Deep Convolutional Neural Networks for Pansharpening,IEEETransactions on Geoscience and Remote Sensing,vol.59,no.8,pp.6995-7010,2021.”中提出了使用细节注入的遥感影像融合方法。该工作使用全色影像与上采样多光谱影像的差分信息作为训练输入，利用卷积神经网络的学习能力，为融合图像生成各波段所需要的空间细节信息。但是该方法直接将多光谱影像简单插值处理到与全色影像在一个统一的尺度上，并将生成的空间细节直接注入到多光谱影像中，忽略了对空间特征的调制，导致融合影像的光谱特性和空间特性被破坏。

第二个是Liu等人在文献“L.Liu,J.Wang,E.Zhang,B.Li,X.Zhu,Y.Zhang,andJ.Peng，Shallow–Deep Convolutional Network and Spectral-Discrimination-BasedDetail Injection for Multispectral Imagery Pan-Sharpening,IEEE Journal ofSelected Topics in Applied Earth Observations and Remote Sensing,vol.13,pp.1772-1783,2020.”提出了一种基于多波段空间注入的浅-深层卷积神经网络。该工作通过为全色影像生成多个波段来实现对多光谱影像的空间增强。由于考虑到了多光谱影像各波段需要的空间细节不同这一重要因素，所以融合效果有所提升。但是该项工作在特征提取的过程中仍是直接将多光谱影像简单插值处理到与全色影像在一个统一的尺度上，同时简单的加权平均后就直接将全色影像的空间信息注入到多光谱影像中，使得融合影像出现了十分严重的光谱真或空间失真。

发明内容

为了克服现有技术的不足，本发明提供了一种基于金字塔调制注入的多光谱与全色遥感影像融合方法，首先将一对多光谱影像和全色影像进行分割，得到多组内容相同的配对的多光谱影像块和全色影像块；然后进行特征空间映射与转换，得到光谱映射向量和空间映射向量；接下来进行特征提取，再根据光谱特征图和空间特征图得到注入系数，将注入系统注入到光谱特征图中，得到空谱联合特征；最终经过上两轮上采样得到同时具备高空间分辨率和高光谱分辨率的影像。本发明依靠光谱信息和空间信息的全局依赖关系完成对多光谱影像的空间分辨率提升，使得融合影像在光谱和空间域上做到了有效的双重保真。

本发明解决其技术问题所采用的技术方案包括如下步骤：