[发明专利]一种图像融合的算法

说明书

本发明公开了一种图像融合的算法，在整体网络架构方面，本发明使用双分支网络将网络划分为细节提升分路和空间信息保持分路，不仅在融合图像中保持了MS图像的光谱信息，而且显著增强了融合图像中的空间细节信息；在残差模块方面，本发明利用多尺度残差融合模块可以在更细粒度的层次上提高网络的多尺度表示能力，增加每个网络层的感受野，增加算法的特征提取能力；在解码器方面，本发明采用嵌套连接的方式将提取的多尺度特征先进行上采样，然后采用跳过连接的方式将不同尺度的特征充分融合，使得融合结果的空间细节表达能力更强。

技术领域

本发明涉及图像融合技术领域，尤其涉及一种图像融合的算法。

背景技术

合成孔径雷达是一种高分辨率的微波成像雷达，可以在较差的气象条件下得到和光学影像类似的SAR图像且SAR传感器具有清晰度高，能全天候工作，穿透力强能够识别更多的空间细节信息的特点。但其获得的高空间分辨率SAR图像中的信息，主要是目标物体的后向散射形成的，而后向散射容易受传感器的波长、影像采用的极化方式和反射角大小的影响，致使同一个目标物体存在不同的表现形式,不方便SAR图像的正确解译；多光谱影像能够表现地物目标的真实信息，与SAR图像相比增加了目标物体的信息量且有更高的可视性，但是由于多光谱卫星传感器的成像受天气和光线影响较容易造成MS图像中的部分空间细节信息丢失。鉴于SAR和MS图像的不同特性且所含信息具有很高的互补性。故两者的融合，既可以保持MS图片光谱信息，还能够将SAR图像的空间细节信息注入到融合结果中,其融合结果可以更好的应用在军事、灾害评估、目标识别等相关领域。

针对图像的融合研究和利用，国内外很多学者做了大量的工作。将传统的融合方法大致归纳为以下3类：1)成分替换(Component Substitution，CS)法，用高空间分辨率的SAR图像中的空间细节信息去替换多光谱图像的空间细节信息，然后进行逆变换以获得融合结果。常见的成分替换法有主，IHS(Intensity-Hue-Saturation)变换，成分分析(PCA)和高通滤波法等；这种方式很容易实现且计算效率较高，但由于没有考虑到SAR图像和MS图像成像波段范围的巨大差异，因此融合图像中存在光谱畸变的现象。2)多分辨率分析(Multi-ResolutionAnalysis，MRA)法利用小波(Wavelet)变换、拉普拉斯金字塔等多分辨率分析方法，先获取SAR图像中的空间细节信息，然后利用多分辨率表示系数的加权融合与重构，获得最终结果。常用方法有小波变换、非下采样轮廓波变换(NSCT)和采用Shearlet变换的方法。例如：邰建豪等使用Shearlet变换的方法来进行SAR和MS图像的融合，融合后的图像空间细节信息和光谱信息的保有量方面都有明显的提升，但是存在边缘失真的情况；易维等利用NSCT方法融合出具有光谱信息且又具有SAR图像空间细节信息的高分辨率图像，明显的提升了融合结果。相对于CS方法，MAR法的计算复杂度更高，可以减少SAR图像中存在的噪声，降低了光谱畸变，但图像配准的精确度会影响融合图像的效果，造成边缘失真和图像混叠。3)融合法，是为了充分发挥不同融合方法的优点，在降低空间和光谱失真时，也可以降低算法的复杂度。例如，Alparone等提出了IHS和多分辨率融合的SAR和MS图像融合方式，综合利用了IHS图像融合方式在保留空间细节信息方面较好的优势和多分辨率分析法可以很好的保存图像的光谱信息的优点；该种融合方式能够获得较好的空间细节信息和光谱信息，但其中的CS方法只可以使用能实现空间变换的融合方法(如PCA和IHS)。和传统方式比较，卷积神经网络(Convolutional Neural Networks,CNN)以其优秀的特征提取和特征表示能力，已经被应用到图像融合的各个研究领域，并取得了惊人的性能，这也促使研究者探讨将CNN应用在SAR和多光谱图像的融合的领域。首先，Masi等基于超分辨率卷积神经网络(SRCNN)，给出了一种基于CNN的泛锐化(Pan-sharpening)融合算法，融合结果明显高于传统算法；Zhong等提出了一种基于CNN的泛锐化方法，利用CNN来增强多光谱图像中的空间细节信息，然后格拉姆-施密特(Gram-Schmidt，GS)变换将增强后的图像进行融合；Yang等为了保持图像光谱和提升图像空间信息提出了双分支网络的融合架构，融合结果在主观视觉上和客观图像质量评价指标方面都有了显著的提升；Yuan等将多尺度特征提取和残差学习引入到基本卷积神经网络(CNN)体系结构,充分利用了深度神经网络非线性关系的强大表征能力，使融合结果进一步提升；Li等在红外与可见光图像融合中，提出基于嵌套连接的网络可以从多尺度的角度保存输入数据中的大量特征信息，但它没有使用更细粒度的网络结构，来获取图像中不同尺度的特征。基于以上研究，本发明引入“编码器-特征融合层-解码器”的空间细节信息融合方案，提出双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net，DMRN-Net)，在更细粒度上增加网络的尺度，用以提高SAR和多光谱图像的融合效果,并与其他算法进行对比分析。