[发明专利]一种图像融合的算法

权利要求书

1.一种图像融合的算法，其特征在于：通过双分支的多尺度残差融合嵌套连接网络架构来实现SAR图像和MS图像的融合；所述的双分支的多尺度残差融合嵌套连接网络架构包括有细节提升分路网络架构和光谱保持分路网络架构，具体步骤如下：

(1)获取SAR图像和MS图像中的高频信息；

(2)在细节提升分路网络架构中，将获取的高频信息分别依次经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器进行图像重建，得到重建图像；

(3)在光谱保持分路网络架构中，把MS图像进行三倍上采样；把上采样后的MS图像与步骤(2)获取的重建图像进行融合，使MS光谱信息和重建图像的细节信息都注入到融合图像中，得到最终的图像融合结果。

2.根据权利要求1所述的一种图像融合的算法，其特征在于：步骤(1)的具体内容如下：将SAR图像和MS图像经过高通滤波器获取图像的高频信息，并且把MS图像的高频信息经过三倍上采样到SAR图像同一分辨率，分别通过1×1，(1,60)和1×1，(3,60)卷积块，将其输出通道值增加到60。

3.根据权利要求1所述的一种图像融合的算法，其特征在于：步骤(2)中，在所述的多深度特征提取层的不同深度分别将图像特征信息进行输出，获得不同深度的特征信息在多尺度残差融合网络层中进行特征融合，利用基于嵌套连接的解码器进行图像的重构。

4.根据权利要求3所述的一种图像融合的算法，其特征在于：所述的多尺度残差融合网络层是将n个通道的特征提取器替换为s组较小的特征提取器，每组特征提取器使用k个通道，n＝s×k，把较小的特征提取器以一个类似残差的形式分层连接起来，用来增加输出特征可以表示的尺度的范围；把输入特征信息划分成s组，首先，每组特征提取器从输入特征信息中提取特征，其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取器，这个步骤反复多次，直至所有的输入特征信息都得到处理；最后，来自每一组的特征被连接起来，并发送到另一组卷积层来进行特征信息融合。

5.根据权利要求4所述的一种图像融合的算法，其特征在于：所述的多尺度残差融合网络层工作原理如式(1)所示：设x_i表示输入信息，其中i∈{1,2,...,s}，s＝4，k_i()表示3x3卷积，那么输出y_i为：

6.根据权利要求4所述的一种图像融合的算法，其特征在于：所述的嵌套连接解码器有两个卷积层，每个都是卷积核为3×3的卷积层；在每一行中，卷积块之间通过短连接进行连接；针对所述的多尺度残差融合网络层中不同层级的输出，嵌套连接解码器通过上采样的方式将特征信息采样到同一尺度，充分融合其多尺度的图像特征。

7.根据权利要求1所述的一种图像融合的算法，其特征在于：所述的光谱保持分路网络架构实现原理如下：

其中F为融合图像，F_hp为细节提升分路网络架构的输出图像，↑MS为三倍上采样后的MS图像。

8.根据权利要求7所述的一种图像融合的算法，其特征在于：所述的双分支的多尺度残差融合嵌套连接网络架构使用的损失函数L_total包括光谱损失函数L_spectral和细节损失函数L_detail两部分，如式(3)所示：

L_total＝L_spectral+λL_detail (3)

其中，λ是在光谱损失函数L_spectral和细节损失函数L_detail之间的参数；

光谱损失函数L_spectral为细节提升分路网络架构和光谱提升分路网络架构融合后的图像F和参照图像GT的L2范数，其函数如公式(4)所示：

其中，N是每一批训练图像对的数量，GT⁽ⁱ⁾表示第i个参照的原始MS图像，F⁽ⁱ⁾表示第i对细节提升分路网络架构和光谱保持分路网络架构融合后的图像；

细节损失函数L_detail为细节提升分路网络架构输出的融合结果F_hp和SAR图像的高频信息S_hp之间的L2范数，其函数如公式(5)所示：

其中表示第i对SAR图像与多光谱图像细节提升分路网络架构输出的细节信息，表示第i张SAR图像的高频信息。