[发明专利]基于对抗性语义引导与感知的红外和可见光图像融合方法

说明书

本发明涉及基于对抗性语义引导与感知的红外和可见光图像融合方法，包括：1.生成融合网络ASGGAN，2.学习优化，利用分割网络作为判别器，分割网络和融合网络形成生成对抗网络关系，分割网络和融合网络在对抗学习的过程中不断优化，3.获取全局性和局部性的GAN网络loss函数，4.加入分割label，加入分割label作为判别器先验优化融合上的空间选择，5.综合评价。本发明利用分割网络来迁移语义信息到图像融合的过程，增强了融合图像的目标显著性；利用U型判别器，保留图像的全局结构特征和局部纹理，使图像拥有自然观感。

技术领域

本发明涉及基于对抗性语义引导与感知的红外和可见光图像融合方法，属于图像处理技术领域。

背景技术

在图像处理领域的发展中，图像融合始终是贯穿整个图像领域发展的主题。由于在遥感、医疗和自动驾驶领域的广泛应用，而红外和可见光图像融合又一直是图像融合领域中的最主要的问题。由于探测器的原理和性质的差异，可见光和红外这两个谱段的图像也存在着比较明显的差异，两者各有优劣之处。可见光的图像往往蕴含着丰富的纹理细节信息，相较红外图像有着较高的分辨率，然而其图像质量较易受到外界环境的影响，比如在夜间光照不足、雾天能见度低、植被遮挡等等的情况下，可见光图像常常会损失重要的目标信息。相较而言，红外图像是探测器根据物体的温度特性或辐射率进行成像得到的，这种成像机理造就了红外图像在外界环境的影响较为稳定，常常能够获取到可见光图像忽略的信息，而且图像中热辐射特性明显不同的目标相对来说更加显著，让人更容易捕捉到目标。然而红外图像细节信息较为缺失，图像质量也不符合人眼的观感，分辨率也常比可见光图像小。因此将两种性质互补的图像进行图像融合，得到高质量的融合图像是很多实际生活中生产应用的需求。红外和可见光图像融合在实际生活中有着丰富广泛的应用领域，如遥感、军事、视频监控、医疗等领域。

在过去几年中，有大量的图像融合方法被提出。这些图像融合方法大致可以分为两大类别：传统图像融合算法和基于深度学习的图像融合算法。如果具体细分的话，传统方法大致可以分为以下几类：1、多尺度变换的图像融合方法，2、稀疏表示的图像融合方法，3，低秩表示的图像融合方法，4、基于子空间的图像融合方法，5、基于显著性的图像融合方法等等。但传统的算法往往依赖于人的设计，为了获得更好地融合效果，传统算法设计的规则越来越复杂，导致了实际应用的困难和计算时间过大。同时，大量的传统算法忽略图像的语义信息和目标的显著性，导致融合图像出现红外目标模糊且难以辨认的情况。

因此，随着近些年来深度学习和神经网络的兴起，将深度学习技术应用于红外和可见光图像融合的方法也在逐步涌现。而基于深度学习的方法大致可以划分为两类方法：1、基于神经网络进行端到端训练的图像融合方法，2、基于生成对抗网络的图像融合方法。尽管现有的基于深度学习的红外和可见光图像融合方法一定程度上有着较为优异的效果，但是这些方法仍然存在着一定的缺陷：1、由于红外和可见光的图像融合任务是一个无监督的任务，缺少融合图像的标签，因此现有的融合网络往往直截了当地使用主观的loss，只重视全局结构而忽视局部空间信息，融合图像也经常出现噪声。2、现有的图像融合网络忽视了图像中的高级语义信息，往往注重于图像全局的融合，目标与背景混为一谈，对目标的关注缺失，而忽略了目标的显著性，局部融合效果并不好，目标的显著性下降。

在以上提及的方法中，生成对抗网络（GAN）在处理类似这样的无监督的图像融合任务拥有着十分优异的效果。它无需复杂的融合准则，往往利用其对抗性的特点引导生成图像拥有可见光图像的视觉观感，并且利用合理的loss控制红外和可见光的图像成分，从而达到优秀的图像融合的效果。然而目前基于GAN的图像融合网络同样忽略了图像的目标显著性和局部融合效果，忽视了图像高级语义的功能和目标的重要性，造成了目标显著性的下降。