[发明专利]一种基于自适应增强生成对抗网络的图像融合方法及系统

权利要求书

1.一种基于自适应增强生成对抗网络的图像融合方法，其特征在于，包括：

获取源图像；所述源图像包括红外图像和可见光图像；

将稠密卷积网络与细节信息补偿机制相结合构建稠密细节特征提取网络；

基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；所述源图像的源特征图包括红外图像的源特征图和可见光图像的源特征图；所述细节信息特征图包括红外图像的细节信息特征图和可见光图像的细节信息特征图；

基于双通道最大池化自适应融合机制和双通道平均池化自适应融合机制构建双通道自适应融合网络；

基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；

基于所述双通道自适应融合网络对所述源图像的细节信息特征图进行双通道平均池化自适应融合，得到融合细节信息特征图；

采用所述双通道自适应融合网络将所述融合源特征图和所述融合细节信息特征图进行拼接，得到拼接后特征图；

将所述拼接后特征图输入1*1卷积网络实现特征图跨通道的信息交互和信息融合，得到融合后特征图；

采用解码网络对所述融合后特征图进行解码得到融合图像；

将所述稠密细节特征提取网络、所述双通道自适应融合网络、所述1*1卷积网络以及所述解码网络依次连接，构成自适应增强生成对抗网络；

根据所述融合图像与所述源图像的亮度相似度、对比度相似度以及结构相似度构建自适应结构相似性损失函数；

基于所述自适应结构相似性损失函数，通过反向传播训练所述自适应增强生成对抗网络的网络参数，生成训练好的自适应增强生成对抗网络；

采用所述训练好的自适应增强生成对抗网络进行红外图像和可见光图像的图像融合。

2.根据权利要求1所述的方法，其特征在于，所述基于所述稠密细节特征提取网络对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图，具体包括：

基于所述稠密细节特征提取网络，采用稠密细节特征提取网络公式pⁱ＝convⁱ(x¹,cat(…,conv²(cat(x^i-2,conv¹(cat(x^i-1,xⁱ))))))和yⁱ＝cat(pⁱ,broadcast(x)-pⁱ)对所述源图像进行特征提取，得到所述源图像的源特征图和细节信息特征图；其中x表示所述源图像，xⁱ表示所述稠密细节特征提取网络的第i层特征图；cat()表示将括号内特征图在特征通道上进行拼接；convⁱ()表示对括号内的拼接后特征图进行特征提取的第i层卷积操作；pⁱ表示提取到的第i层源特征图；broadcast(x)-pⁱ表示源特征图pⁱ对应的第i层细节信息特征图，broadcast(x)表示广播机制自动扩充所述源图像x的维度；yⁱ表示所述稠密细节特征提取网络的第i层全部特征图。

3.根据权利要求1所述的方法，其特征在于，所述基于所述双通道自适应融合网络对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图，具体包括：

基于所述双通道自适应融合网络，采用公式对所述源图像的源特征图进行双通道最大池化自适应融合，得到融合源特征图；其中，表示红外图像的源特征图，表示可见光图像的源特征图；max()表示对括号内特征图在通道维度上求最大值；表示对红外图像的源特征图进行卷积操作，表示对可见光图像的源特征图进行卷积操作；σ()表示sigmoid操作；X^o表示通过双通道最大池化自适应融合机制加权后得到的融合源特征图。