[发明专利]一种基于知识引导的遥感影像融合方法

说明书

本申请公开了一种基于知识引导的遥感影像融合方法，所述方法包括：基于高通滤波提取纹理细节并构建高通滤波模块以提取全色图像高频细节信息；提取多光谱图像的NDVI和NDWI信息；构建自适应SE模块，对输入特征进行挤压、激励；将自适应SE模块与卷积单元结合，对输入特征进行融合处理。根据全色图像与多光谱图像的特点引入NDVI和NDWI作为先验知识对融合过程进行约束。提高了融合过程中光谱信息的保真度，解决了图像融合过程中容易产生的光谱失真问题。

技术领域

本申请涉及遥感图像融合技术领域，具体涉及一种基于知识引导的遥感影像融合方法。

背景技术

目前，由于传感器技术的限制，单一传感器还不能直接获取到同时具有高光谱分辨率、高空间分辨率的图像，卫星遥感平台上一般同时安装有两台传感器，一台用于获取高空间分辨率的全色图像，一台用于获取多光谱图像。在应用时，通常需要先利用图像融合技术对全色图像和多光谱图像进行融合，以获取同时具有高光谱分辨率和高空间分辨率的图像。

传统的图像融合方法主要有成分替代(Component Substitution,CS)，多分辨率分析(Multiresolution Analysis,MRA)和稀疏表示(Spare Representation,SR)。CS融合方法首先将多光谱图像(Multispectral,MS)转化到另一个空间，将空间结构和光谱信息分离为不同的成分；然后，将转化后的MS图像中具有空间结构的分量替换为全色图像(Panchromatic,PAN)。基于CS的方法可以获得丰富的细节，但光谱失真往往比较严重。MRA融合方法的核心是多尺度细节提取和注入。通常采用MRA方法从PAN图像中提取空间细节，然后将其注入上采样的多光谱图像中。与基于CS的方法相比，基于MRA的方法将提取到的全色图像的细节信息注入到多光谱图像中能够更好的保持光谱特性。稀疏表示的核心思想是将图像表示为一个过完整字典中最少原子的线性组合，但是该方法比较复杂和费时。

近年来，基于深度学习的遥感图像融合方法受到了广泛的关注，如PNN网络首次在图像融合任务中使用卷积神经网络，其将插值后的多光谱图像和全色图像拼接起来输入网络中进行端对端的训练，网络直接学习输入和高分辨率图像之间的关系；PanNet网络将全色图像和多光谱图像的高频细节信息拼接起来输入到残差网络中进行特征提取与融合，然后将提取到的高频细节信息注入上采样后的低分辨率多光谱图像中。与传统的基于CS和基于MRA的算法相比，基于CNN的方法显著提高了图像融合的性能，但这些方法还存在一些问题，主要有：Target-PNN和RSIFNN都缺乏具体的纹理细节处理，导致融合后的图像纹理细节不够清晰。PNN只是单纯地将全色图像和上采样的多光谱图像输入卷积神经网络进行训练，没有根据全色图像和多光谱图像各自的特点有针对的进行特征提取和融合，可能会导致一些光谱和空间结构的失真。PanNet虽然增强了纹理细节，但没有考虑MS图像光谱通道之间的关系，可能会导致一些光谱失真。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于知识引导的遥感影像融合方法，其特征在于，所述方法包括：基于高通滤波提取纹理细节并构建高通滤波模块以提取全色图像高频细节信息；提取多光谱图像的NDVI和NDWI信息作为先验知识；构建自适应SE模块，对输入特征进行挤压、激励；将自适应SE模块与卷积单元结合，对输入的特征进行融合处理。

采用上述实现方式，根据全色图像与多光谱图像的特点引入归一化植被指数和归一化水体指数作为先验知识来对融合过程进行约束。提高了融合过程中光谱信息的保真度，解决了图像融合过程中容易产生的光谱失真问题。

结合第一方面，在第一方面第一种可能的实现方式中，所述基于高通滤波提取纹理细节并构建高通滤波模块以提取全色图像高频细节信息，包括：通过均值滤波器获取图像的低频信息；然后用原始图像减去低频信息获得高频信息，所述高频信息用于减少全色图像中的噪声信息对多光谱图像中光谱信息的影响。