[发明专利]基于对抗性语义引导与感知的红外和可见光图像融合方法

权利要求书

1.基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：包括以下步骤：

步骤1：生成融合网络ASGGAN，基于结构简单的生成对抗网络，通过判别器和loss函数的的引导，优化生成一个双路判别器可见光和红外图像融合网络ASGGAN；

步骤2：学习优化，利用分割网络作为判别器，分割网络和融合网络形成生成对抗网络关系，分割网络和融合网络在对抗学习的过程中不断优化，以分割预测和分割label的loss为引导来使得融合图像具有目标显著性；

步骤3：获取全局性和局部性的GAN网络loss函数，使用U型的判别器结构，得到全局性和局部性两个GAN网络loss，使得融合网络不仅关注图像的全局信息，也关注图像的局部信息；

步骤4：加入分割label，加入分割label作为判别器先验优化融合上的空间选择；

步骤5：综合评价，通过定性的主观评价和定量的客观评价指标来揭示本文提出的ASGGAN相较其他的红外可见光图像融合方法具有优越的图像融合效果。

2.根据权利要求1所述的基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：所述步骤1中融合网络ASGGAN包括生成器和判别器，所述生成器生成图像，所述生成器采取双路Encoder和单路Decoder的全卷积网络结构，所述判别器区分生成器生成的虚假图像和真实图像，所述生成器和判别器持续优化，使得生成器能够生成欺骗判别器的虚假图像，判别器增强区分生成器生成的虚假图像和真实图像的能力。

3.根据权利要求1所述的基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：所述判别器包括感知判别器和语义判别器，所述感知判别器拉近可见光和融合图像的分布距离，使得融合图像的可见光观感更自然，所述语义判别器分割融合图像，利用分割网络产生的分割loss助推融合网络进行图像融合，所述感知判别器采用U型判别器，所述感知判别器包括Encoder和Decoder两部分，感知判别器通过Encoder和Decoder进行图像的全局判别和局部判别，所述语义判别器采用RPNet分割网络进行分割loss的计算。

4.根据权利要求1所述的基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：所述步骤3中GAN网络发展衍生形成DCGAN和LSGAN，所述DCGAN将原始GAN中的生成器和判别器的多层感知机改为卷积神经网络用于提取特征，所述LSGAN将GAN网络的交叉熵loss换为最小二乘loss，提高图片的生成质量并使得GAN网络的训练更加稳定。

5.根据权利要求1所述的基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：所述步骤4中分割label在网络训练中输入到网络结构进行图像融合。

6.根据权利要求1所述的基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：所述loss函数包括判别器loss函数、分割网络loss函数和生成器loss函数，所述判别器loss函数用于训练判别器，如公式（1）所示

（1）

式中 表示整体判别器的loss函数，表示判别器的Encoder输出的全局信息的loss函数，表示判别器的Decoder输出的局部信息的loss函数；

所述分割网络loss函数如公式（2）所示

（2）

式中代表I_label在像素值（i，j）处one-hot向量第c个通道处的值，I_label为图像分割标签，代表输出概率图在像素值（i，j）处第c个通道的输出概率值，N为通道数，W和H为图像的宽和高；

所述生成器loss函数包括感知对抗、语义对抗和细节，所述生成器loss函数如公式（3）所示

（3）

式中表示生成器总体函数，和为超参数，用于平衡三个loss的权重。

7.根据权利要求1所述的基于对抗性语义引导与感知的红外和可见光图像融合方法，其特征在于：所述客观评价指标包括AG、EI、SF和EN，所述AG评价指标用于衡量融合图像的清晰度，所述AG评价指标的公式如下

（4）

式中M和N分别代表融合图像的宽和高，表示融合图像中的像素点位置，式中AG值越大，融合图像清晰度越好，融合图像质量越好；

所述EI评价指标计算的是融合图像的边缘强度，所述EI评价指标的公式如下

（5）

（6）

式中，、为x和y方向上的sobel算子，、为sobel算子卷积后的结果，评价指标EI的值越大，融合图像质量越好；

所述SF评价指标计算的是图像灰度的变化率，所述SF评价指标的公式如下

（7）

（8）

（9）

式中RF为行空间频率，CF为列空间频率，SF值越大，融合图像质量越好；

所述EN评价指标计算的是图像中包含的信息量，所述EN评价指标的公式如下

（10）

式中为灰度直方图的统计概率，EN值越大，即代表图像信息量越多，融合图像质量越好。