[发明专利]一种基于残差混合膨胀卷积的遥感图像融合方法

说明书

本发明请求保护一种基于残差混合膨胀卷积的遥感图像融合方法，包括步骤：S1将低分辨率的多光谱图像和高分辨率的全色图像分别进行相应倍数的下采样，并将其堆叠在一起，构建模型需要的数据集；S2借助卷积神经网络的性质，构建一个多尺度的深层残差混合膨胀卷积神经网络；S3采用随机梯度下降算法对网络进行训练，得到训练后的深度卷积神经网络模型；S4将待融合的多光谱图像和全色图像输入到训练后的深度卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。本发明利用深度卷积网络更充分地提取图像的空间特征，提高了遥感图像融合方法的融合效果。

技术领域

本发明属于图像处理技术领域，特别涉及基于残差混合膨胀卷积的遥感图像融合方法。

背景技术

近年来，随着社会和科技的发展，遥感图像在各种应用中被广泛使用。由于传感器硬件技术的短板，地球观测卫星如IKONOS、QuickBird和GeoEye等也只能拍摄到两种不同类型的遥感图像，即高空间分辨率低光谱分辨率的全色图像和高光谱分辨率低空间分辨率的多光谱图像。但是在实际的应用中，我们需要同时用到高光谱和高空间分辨率这两种信息，其中，高光谱分辨率用于精确地物分类，高空间分辨率则用于地物形状和纹理的描述。

获得同时具有高空间分辨率与高光谱分辨率的遥感图像，最直接的方法就是采用更高精度的遥感传感器。但这种遥感传感器造价昂贵而且技术难以实现。因此，图像融合方法被引入到遥感图像领域，用以融合全色图像的空间信息和多光谱图像的光谱信息，这种融合过程也被称作遥感图像融合。这样不仅缩短了硬件的研发时间也能节约硬件成本，还能进一步提高遥感图像质量以满足需求。

迄今为止，传统的遥感图像融合算法可以大致分为成分替换法、多尺度分析法和基于模型的优化方法。成分替换的主要思想是利用彩色空间模型的定量计算优势，对所获图像各波段进行线性分离和替换，然后将计算后的各波段重新组合而得到融合结果，通常情况下，此类算法能简单有效地提高多光谱图像的分辨率，但通常会出现比较严重的光谱扭曲。多尺度分析基于多尺度分解，将源图像分解成多种尺度下的高低频分量，根据不同的融合策略选取高低频系数进行融合，具有较好的光谱保真度，但是融合后的图像清晰度有所下降。基于模型的融合框架是通过建立低分辨率多光谱图像、全色图像与高分辨率多光谱图像的关系模型，结合高分辨率多光谱图像先验特性，构建目标函数重建融合图像，该方法在梯度信息的提取上获得了很大的提升，但是并不能精确地描述输入和输出之间复杂的非线性映射关系。

随着深度学习技术的发展，计算机视觉和图像处理领域的众多问题得到了新的解决办法。相对于传统的遥感图像融合方法，基于卷积神经网络的方法可以通过端对端自动学习不同波段的上采样方法，更好地保持图像的光谱信息，但是现有的网络结构简单，仍有很大的改进空间。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于残差混合膨胀卷积的遥感图像融合方法。本发明的技术方案如下：

一种基于残差混合膨胀卷积的遥感图像融合方法，其包括以下步骤：

S1、将低分辨率的多光谱图像和高分辨率的全色图像分别下采样4倍，然后再将多光谱图像上采样4倍，与全色图像堆叠在一起，构建模型需要的数据集；

S2、使用跳跃连接将标准卷积与不同膨胀率的膨胀卷积连接在一起，并结合深层残差网络，构建一个双支的深层残差混合膨胀卷积神经网络；

S3、采用随机梯度下降算法对残差混合膨胀卷积神经网络进行训练，得到训练后的深层卷积神经网络模型；

S4、将待融合的多光谱图像和全色图像输入到训练后的深度卷积神经网络模型中，得到融合后的高空间分辨率的多光谱图像。

进一步的，在步骤S1中，构建模型需要的数据集，构建方式为：

用双三次插值法对初始的多光谱图像和全色图像进行下采样，模拟低分辨率输入的多光谱图像和全色图像，将多光谱图像上采样4倍，与退化后的全色图像堆叠，形成初始化的输入。