[发明专利]一种图像融合方法、装置、电子设备及存储介质

说明书

本发明公开了一种图像融合方法、装置、电子设备及存储介质，所述方法包括：获取相同场景下，包含同一目标对象的可见光图像和红外光图像；基于训练后的图像融合模型，对所述可见光图像和红外光图像输进行融合处理，得到包含所述目标对象的融合图像；其中：所述图像融合模型是利用基于第二子网络确定的图像融合损失信息，对第一子网络的模型参数进行训练得到的；所述图像融合损失信息是基于训练图像组的预测融合图像和对应的目标融合图像的偏差信息确定的，所述预测融合图像是基于所述第一子网络对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理得到的。本发明实施例提供的图像融合方法鲁棒性较好，融合效果较好。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像融合方法、装置、电子设备及存储介质。

背景技术

在实际生活中，常常会遇到一些复杂场景，比如夜晚的时候，雾霾天能见度很低的时候，在野外复杂环境有大量其他物体遮挡的时候。如果在这样的情况下单凭可见光单源图像进行目标检测，效果会大大折扣。通常情况下，我们会使用红外图像来弥补可见光图像在这些场景中的劣势，因为红外图像富含图像的热辐射信息，与可见光图像互补性非常强。

现有技术在进行红外和可见光图像融合时，首先分别确定红外和可见光图像中的基础部分和细节部分，然后分别为红外和可见光图像中的基础部分进行融合、对细节部分进行融合，得到最终的融合图像。现有技术并不能保证准确地确定出红外和可见光图像中的基础部分和细节部分，再者不同场景的红外和可见光图像中的基础部分和细节部分差别较大，这都导致了现有技术的方案鲁棒性较差，图像融合效果较差。

发明内容

本发明实施例提供了一种图像融合方法、装置、电子设备及存储介质，用以解决现有技术的方案鲁棒性较差，图像融合效果较差的问题。

本发明实施例提供了一种图像融合方法，所述方法包括：

获取相同场景下，包含同一目标对象的可见光图像和红外光图像；

基于训练后的图像融合模型，对所述可见光图像和红外光图像输进行融合处理，得到包含所述目标对象的融合图像；其中：

所述图像融合模型是利用基于第二子网络确定的图像融合损失信息，对第一子网络的模型参数进行训练得到的；所述图像融合损失信息是基于训练图像组的预测融合图像和对应的目标融合图像的偏差信息确定的，所述预测融合图像是基于所述第一子网络对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理得到的。

进一步地，所述第一子网络包括第一特征提取网络、第二特征提取网络和第三特征提取网络，所述第一特征提取网络、第二特征提取网络和第三特征提取网络用于对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理，得到预测融合图像。

进一步地，所述对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理，得到预测融合图像包括：

通过所述第一特征提取网络分别对所述训练图像组中的可见光样本图像和红外光样本图像进行特征提取，得到第一可见光特征图和第一红外光特征图，分别将所述第一可见光特征图和第一红外光特征图输入所述第二特征提取网络；

通过所述第二特征提取网络分别对所述第一可见光特征图和第一红外光特征图进行特征提取，得到第二可见光特征图和第二红外光特征图，并对所述第一可见光特征图和第二可见光特征图进行叠加处理，得到第三可见光特征图，对所述第一红外光特征图和第二红外光特征图进行叠加处理，得到第三红外光特征图，分别将所述第三可见光特征图和第三红外光特征图输入所述第三特征提取网络；

通过所述第三特征提取网络对所述第三可见光特征图和第三红外光特征图进行融合处理，得到预测融合图像。

进一步地，所述通过所述第一特征提取网络分别对所述训练图像组中的可见光样本图像和红外光样本图像进行特征提取包括：