[发明专利]基于双支深度学习网络的遥感图像融合方法及系统

说明书

本发明提供基于双支深度学习网络的遥感图像融合方法及系统，包括对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；构建双支卷积神经网络，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；将待融合的全色图像与多光谱图像，输入到训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。本发明针对遥感图像中的全色与多光谱图像的融合，利用深层次的深度卷积网络能够更加充分地提取影像的特征，集成两种图像之间的互补信息，生成高空间分辨率的多光谱图像。

技术领域

本发明属于遥感图像处理领域，涉及一种对遥感图像进行融合的技术方案。

背景技术

遥感影像是卫星传感器探测和记录地表反射电磁波的信息载体，可以用于环境监控、地物分类、气候监测等等。许多对地观测卫星(如Landsat、GeoEye-1、QuickBird等)在拍摄多光谱影像的同时拍摄一幅同一区域的全色影像。由于地物在不同光谱区对电磁波有不同的反射值，因此多光谱影像相比与光谱单一的全色影像能够记录目标更多的信息量。多光谱影像光谱分辨率高，但受到传感器物理特性的限制以及考虑到信噪比的原因，它的空间分辨率不及全色影像。为了充分利用多光谱影像和全色影像所提供的光谱和空间信息，需要将两者进行融合，得到空间分辨率和光谱分辨率都较高的影像。融合后的影像既要具有全色影像的空间分辨率，又要保留原来多光谱影像的光谱信息。通过融合获得的影像比起单一的源影像具备更加精确的信息并更容易被解译。

近几年来，各种各样的影像融合方法被广大学者提出，这些方法大致可分为三类：基于分量替换、基于多分辨率分析、基于稀疏表达。

基于分量替换的融合算法的基本思路是将多光谱影像线性变换到另一个空间，再用全色影像替代主分量，最后线性反变换到原来的影像空间得到融合影像。这类算法的研究起步最早，运算速度快，是目前使用范围最广的算。基于多分辨率分析的融合算法主要包括各种小波变换算法。这类方法首先对待融合的源影像进行多尺度多方向分解，得到源影像的低频分量与不同尺度与方向下的高频分量，形成各自的多尺度描述；然后根据不同分量的特性，选择相应的融合策略，综合不同影像之间的互补信息和冗余信息；最后将融合后的高频分量和低频分量经过相应的逆变换重构得到融合后的影像。基于稀疏表示的融合算法是近年来研究的热点。使用这类方法进行影像融合时，主要经过以下几个步骤：首先，对于待融合的影像需要按照一定的“步距”进行影像的分块操作，并将每一个影像块矢量化。然后根据预先设定好的稀疏字典中的原子对矢量化后的影像块进行线性表示以得到稀疏表示系数。紧接着按照一定的规则，对不同影像的稀疏系数进行合并。最后，将稀疏字典与融合后的稀疏系数相乘即可得到融合后的影像块，利用影像块便能拼出融合后的影像。

发明内容

针对遥感图像融合需要实现的效果，本发明提供了一种遥感图像的融合方法，可以对全色与多光谱图像进行融合，从而集成两种图像之间的互补信息，生成高空间分辨率的多光谱图像。为实现上述目的，本发明的技术方案主要包括图像的深度学习技术。在这个技术的支持下，本发明能够对全色与多光谱图像进行有效地融合。

本发明提供一种基于双支深度学习网络的遥感图像融合方法，包括以下步骤：

步骤a，对作为样本数据的全色图像与多光谱图像分别进行相应倍数的下采样，获得训练样本；

步骤b，构建双支卷积神经网络，所述双支卷积神经网络包括一条用于输入多光谱图像的支线和一条用于输入全色图像的支线，两条支线分别包含若干卷积模块，将两条支线提取出的特征进行特征维度上的合并后，再利用一个卷积模块进行融合结果的输出；

步骤c，利用步骤a所得训练样本，采用随机梯度下降算法对双支卷积神经网络进行训练，得到训练完成的双支卷积神经网络；

步骤d，将待融合的全色图像与多光谱图像，输入到步骤c所得训练完成的双支卷积神经网络中，得到融合后的高空间分辨率的多光谱图像。