[发明专利]一种图像融合方法、系统及其应用

说明书

本申请属于图像处理技术领域，特别是涉及一种图像融合方法、系统及其应用。本申请提供了一种图像融合方法，提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；将所述第一空间信息与所述第二空间信息进行融合得到空间特征；对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率。

技术领域

本申请属于图像处理技术领域，特别是涉及一种图像融合方法、系统及其应用。

背景技术

就目前遥感系统的设计而言，光谱分辨率和空间分辨率往往不能同时保持在高水平。不同传感器获取的图像在几何特征、光谱分辨率和空间分辨率方面有所不同。一些传感器获取了丰富的场景光谱信息，但缺乏足够的空间信息，如多光谱图像(multispectralimages，MS)。另一方面，一些传感器善于捕捉空间信息，但不能捕捉可靠的光谱信息，如全色图像(panchromatic image，PAN)。高空间分辨率图像提供了微妙的几何特征，而高光谱分辨率图像提供丰富的光谱信息，可用于识别和分析目标。为了充分利用多光谱图像和全色图像提供的信息，通常的方法是将低分辨率多光谱图像与同一场景的高分辨率全色图像进行融合生成具有更详细空间和光谱结构的图像，即pansharpening。

遥感影像pansharpening发展至今，各种各样的技术都有，各种各样的算法，因为pansharpening往往作为遥感影像的其他应用(如，遥感影像的语义分割、分类等)的基础，在遥感影像处理上显得尤为重要。目前的广泛使用的技术方法包括：基于主成分分析的、基于小波变换的、基于卷积神经网络的和基于生成对抗网络等方法。虽然有很多方法的出现，但是这些方法都不算是最好的，因为这些方法往往对MS图像和PAN图像空间和光谱信息利用不充分。在现有的融合算法中，往往认为空间信息存在于PAN图像中，光谱信息存在于MS图像中，但是这样往往忽略了MS图像中存在的空间信息和PAN图像中可能存在的光谱信息，这将导致不同程度的光谱和空间信息的丢失。同时，现有的深度学习方法，在进行特征融合时使用的是简单的特征图的堆叠，这样的操作仅仅提供一个固定的特征图的线性聚合，而完全不知道这种组合是否适合于特定的对象。

发明内容

1.要解决的技术问题

基于现有的深度学习方法，在进行特征融合时使用的是简单的特征图的堆叠，这样的操作仅仅提供一个固定的特征图的线性聚合，而完全不知道这种组会是否适合于特定的对象的问题，同时，现有的方法往往忽略MS图像中存在的空间信息和PAN图像中可能存在的光谱信息，在一定程度上导致了融合图像光谱和空间信息的丢失，本申请提供了一种图像融合方法、系统及其应用。

2.技术方案

为了达到上述的目的，本申请提供了一种图像融合方法，所述方法包括如下步骤：步骤1：提取多光谱图像的第一高通信息得到第一多光谱图像，提取全色图像的第二高通信息得到第一全色图像；步骤2：提取所述第一多光谱图像的第一空间信息，提取所述第一全色图像的第二空间信息；步骤3：将所述第一空间信息与所述第二空间信息进行融合得到空间特征；步骤4：对所述空间特征进行重建得到高空间分辨率图像，同时将多光谱图像和全色图像直接传递到重建空间特征后的高分辨率图像中，从而提高融合图像的光谱分辨率。

本申请提供的另一种实施方式为：所述提取多光谱图像的第一高通信息包括对输入的多光谱图像进行上采样，使得所述多光谱图像与全色图像大小相同，然后采用高通滤波提取所述上采样多光谱图像的第一高通信息；所述提取全色图像的第二高通信息包括采用高通滤波提取全色图像的第二高通信息。

本申请提供的另一种实施方式为：所述第一高通信息通过采用均值滤波提取所述上采样多光谱图像的第一低通信息，然后将所述上采样多光谱图像减去所述第一低通信息；所述第二高通信息通过采用均值滤波提取所述全色图像的第二低通信息，然后将所述上采样多光谱图像减去所述第二低通信息。