[发明专利]一种红外与可见光图像融合方法

说明书

本发明涉及一种红外与可见光图像融合方法，将多对红外、可见光源图像对裁剪处理得到多组对应图像对；将生成器输出的初步融合图像及裁剪后的可见光图像分别输入至判别器中，输出对应的单一可能性判别值；将融合图像与输入源图像间生成器损失及融合图像与可见光图像间的判别器损失相结合优化生成器，并通过反向传播调整生成器网络权重值及偏置值；利用融合图像及可见光图像间判别器损失优化判别器，将可见光图像的其他细节信息添加到融合图像中；经多次迭代训练得到性能稳定的网络模型；将多对未裁剪的源图像对分别输入至训练后的生成器网络可得到对应融合图像。本发明能有效提升融合图像质量及视觉信息保真度。

技术领域

本发明属于图像融合技术领域，具体涉及一种红外与可见光图像融合的方法，其基于生成对抗网络(GAN)及残差网络(ResNet)实现。

背景技术

红外图像的灰度由目标与背景的温差决定，可以穿透烟雾、尘埃及大气，在环境条件较差时，仍具有较强的探测能力，但图像的对比度及空间分辨率较低。可见光图像空间分辨率较高，目标纹理细节清晰，但光照条件较差时无法保证成像质量。若将红外与可见光图像融合可综合利用红外图像的目标指示特性及可见光图像的场景细节信息，有利于探测隐藏目标、增加对图像的理解力、实现全天候监测。因此，许多学者致力于红外与可见光图像融合方面的研究。

传统的红外与可见光图像融合方法包括空间域方法、多尺度变换方法、稀疏表示方法以及显著性方法等。上述传统方法虽较为成熟，应用广泛，但实现时需要人为手动设计活动水平测量及融合规则，同时大部分方法涉及复杂的分解变换，以上问题极大地制约了传统红外与可见光图像融合方法的发展。

近几年，深度学习的研究逐步深入，并在计算机视觉、模式识别及图像处理等领域取得重要突破。目前，生成对抗网络及残差网络已成功应用于图像分类、检测及重构中，均取得较好成果。但是，迄今为止未见将生成对抗网络及残差网络相结合实现红外与可见光图像融合的相关研究。

发明内容

本发明的目的在于提供一种红外与可见光图像融合方法，其基于深度学习中的生成对抗网络及残差网络实现，能有效提升融合图像质量及视觉信息保真度，克服了传统需要手动设计复杂的活动水平测量及融合规则，且涉及复杂的变换及分解操作等缺点。

本发明的目的是通过以下技术方案实现的：

一种红外与可见光图像融合方法，包括以下步骤：

S1、将多对红外、可见光源图像对分别进行裁剪处理，裁剪后得到的多组对应图像作为生成器的输入，生成器输出为单通道、同尺寸的融合图像；

S2、将步骤S1得到的融合图像及裁剪后的可见光图像输入判别器中，输出单一可能性判别值；

S3、使用步骤S1中融合图像与源图像间的生成器损失结合步骤S2中得到的融合图像与可见光图像间的判别器损失优化生成器，并通过反向传播调整生成器网络权重值及偏置值，使用步骤S2中得到的融合图像判别值及可见光图像判别值优化判别器，将可见光图像的其他细节信息添加到融合图像中，经过多次迭代，生成器和判别器网络不断更新，直至得到性能稳定的网络模型；

S4、将多对未裁剪的源图像对分别输入步骤S3中优化好的生成器网络，得到最终的融合图像。

作为本发明更优的技术方案，所述的步骤S1中红外、可见光源图像对分别进行裁剪处理具体为：从TNO数据集中选择多对红外、可见光源图像，每对源图像均对应同一场景，将多对源图像逐个裁剪成小图像对，得到多组对应图像。