[发明专利]一种基于自适应增强生成对抗网络的图像融合方法及系统

说明书

本发明涉及一种基于自适应增强生成对抗网络的图像融合方法及系统。所述方法包括：构建稠密细节特征提取网络对源图像分别运用稠密卷积方式结合细节信息补偿机制进行特征提取；构建双通道自适应融合网络融合源特征图和细节信息特征图；融合特征图拼接后，构建1*1卷积网络实现跨通道的交互和信息融合；对融合后的特征图进行解码得到融合图像；在训练整体网络模型时，加入自适应结构相似性损失函数。该方法引入细节信息补偿机制增强融合图像细节并减少信息丢失，运用双通道自适应融合网络在通道维度上均衡融合图像中的红外信息和可见光信息，加入自适应结构相似性损失函数在空间维度上自适应增强融合图像与源图像的相似度，提高了融合图像质量。

技术领域

本发明涉及图像融合技术领域，特别是涉及一种基于自适应增强生成对抗网络的图像融合方法及系统。

背景技术

图像融合是图像处理中的一种重要技术，图像融合的主要目标是整合从每个源图像中提取的突出特征，因为单个红外或可见光传感器无法捕获完整的场景信息。一般来说，可见图像具有丰富的空间分辨率高的感知细节，而红外图像包含目标的热辐射，因此，将红外图像和可见图像的互补信息融合成一种新的合成图像来处理不同的任务具有重要意义。目前最先进的融合算法被广泛应用于许多应用中，如自动驾驶汽车、视觉跟踪和视频监控。融合算法大致可分为两类：传统的方法和基于深度学习的方法。近年来，基于深度学习的方法在图像融合任务中显示出巨大的潜力，并被认为具有比传统算法提供更好性能的潜力。

目前，基于深度学习的方法进行图像融合的一大阻碍在于没有真值，所以对于端到端的网络在训练时只能采用无监督训练或把两张源图像当作真值进行有监督训练。然而，在采用无监督训练时，端到端的网络在提取特征时会丢失很多信息；在采用两张真值图像进行有监督训练时，融合图像中会产生信息分配不均衡的问题。

发明内容

本发明的目的是提供一种基于自适应增强生成对抗网络的图像融合方法及系统，以解决现有基于深度学习的图像融合方法存在的信息丢失问题和有效信息分配不均衡问题。

为实现上述目的，本发明提供了如下方案：

一种基于自适应增强生成对抗网络的图像融合方法，包括：

获取源图像；所述源图像包括红外图像和可见光图像；

将稠密卷积网络与细节信息补偿机制相结合构建稠密细节特征提取网络；

基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；所述源图像的源特征图包括红外图像的源特征图和可见光图像的源特征图；所述细节信息特征图包括红外图像的细节信息特征图和可见光图像的细节信息特征图；

基于双通道最大池化自适应融合机制和双通道平均池化自适应融合机制构建双通道自适应融合网络；

基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；

基于所述双通道自适应融合网络对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图；

采用所述双通道自适应融合网络将所述融合源特征图和所述融合细节信息特征图进行拼接，得到拼接后特征图；

将所述拼接后特征图输入1*1卷积网络实现特征图跨通道的信息交互和信息融合，得到融合后特征图；

采用解码网络对所述融合后特征图进行解码得到融合图像；

将所述稠密细节特征提取网络、所述双通道自适应融合网络、所述1*1卷积网络以及所述解码网络依次连接，构成自适应增强生成对抗网络；

根据所述融合图像与所述源图像的亮度相似度、对比度相似度以及结构相似度构建自适应结构相似性损失函数；