[发明专利]一种红外与可见光图像融合方法

权利要求书

1.一种红外与可见光图像融合方法，其特征在于，包括以下步骤：

S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；

S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；

S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；

S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像；

所述的步骤S1中裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像具体为：首先采用卷积层提取多组对应图像，并将其作为后续第一个残差块和跳跃连接的输入；然后采用残差块提取与保留特征并跟随一个卷积块将特征进一步提取；接着将第一个卷积块提取的初步特征进行叠加，作为第二个残差块及跳跃连接的输入；重复一次上述残差及卷积提取操作，并将结果输出至下一卷积块；最后采用卷积层，输出单通道、同尺寸的融合图像；

所述的步骤S3中的优化生成器是通过优化生成器损失函数完成的，所述生成器损失函数(L_G)如下所示：

L_G＝L_Adv+δL_Con

其中，L_Adv为对抗损失，L_Con为内容损失，D(F)为判别器对融合图像的判别输出，δ为权重参数，a为趋近1的数值，F表示网络输出的融合图像，I和V分别表示红外和可见光图像，H和W分别为图像的高度和宽度，||～||_F为F范数，为梯度计算，γ1,γ2,γ3,和γ4为各项系数。

2.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像，实现数据扩增。

3.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S2具体为：首先采用卷积层对输入的融合图像或者可见光图像提取初步特征，接着连续采用多个卷积层不断缩小特征图尺寸同时增加特征图通道数；然后将输出特征图的所有点变换成单一矢量；最后通过线性相乘，输出单一可能性判别值。

4.如权利要求1所述的一种红外与可见光图像融合方法，其特征在于，所述的步骤S3中的优化判别器损失是通过优化判别器损失函数完成的，所述判别器损失(L_D)函数如下所示：

其中，D(V)为判别器对可见光图像的判别输出，D(F)为判别器对融合图像的判别输出，b趋近于1，c趋近于0。