[发明专利]一种图像融合方法、装置、电子设备及存储介质

权利要求书

1.一种图像融合方法，其特征在于，所述方法包括：

获取相同场景下，包含同一目标对象的可见光图像和红外光图像；

基于训练后的图像融合模型，对所述可见光图像和红外光图像输进行融合处理，得到包含所述目标对象的融合图像；其中：

所述图像融合模型是利用基于第二子网络确定的图像融合损失信息，对第一子网络的模型参数进行训练得到的；所述图像融合损失信息是基于训练图像组的预测融合图像和对应的目标融合图像的偏差信息确定的，所述预测融合图像是基于所述第一子网络对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理得到的。

2.如权利要求1所述的方法，其特征在于，所述第一子网络包括第一特征提取网络、第二特征提取网络和第三特征提取网络，所述第一特征提取网络、第二特征提取网络和第三特征提取网络用于对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理，得到预测融合图像。

3.如权利要求2所述的方法，其特征在于，所述对所述训练图像组中的可见光样本图像和红外光样本图像进行融合处理，得到预测融合图像包括：

通过所述第一特征提取网络分别对所述训练图像组中的可见光样本图像和红外光样本图像进行特征提取，得到第一可见光特征图和第一红外光特征图，分别将所述第一可见光特征图和第一红外光特征图输入所述第二特征提取网络；

通过所述第二特征提取网络分别对所述第一可见光特征图和第一红外光特征图进行特征提取，得到第二可见光特征图和第二红外光特征图，并对所述第一可见光特征图和第二可见光特征图进行叠加处理，得到第三可见光特征图，对所述第一红外光特征图和第二红外光特征图进行叠加处理，得到第三红外光特征图，分别将所述第三可见光特征图和第三红外光特征图输入所述第三特征提取网络；

通过所述第三特征提取网络对所述第三可见光特征图和第三红外光特征图进行融合处理，得到预测融合图像。

4.如权利要求3所述的方法，其特征在于，所述通过所述第一特征提取网络分别对所述训练图像组中的可见光样本图像和红外光样本图像进行特征提取包括：

通过所述第一特征提取网络分别对所述训练图像组中的可见光样本图像和红外光样本图像进行卷积填充，根据预设的卷积步长对卷积填充后的可见光样本图像和红外光样本图像进行卷积处理；

所述通过所述第二特征提取网络分别对所述第一可见光特征图和第一红外光特征图进行特征提取包括：

通过所述第二特征提取网络分别对所述第一可见光特征图和第一红外光特征图进行卷积填充，根据预设的卷积步长对卷积填充后的第一可见光特征图和第一红外光特征图进行卷积处理；

所述通过所述第三特征提取网络对所述第三可见光特征图和第三红外光特征图进行融合处理包括：

通过所述第三特征提取网络分别对所述第三可见光特征图和第三红外光特征图进行卷积填充，根据预设的卷积步长对卷积填充后的第三可见光特征图和第三红外光特征图进行融合处理。

5.如权利要求4所述的方法，其特征在于，所述根据预设的卷积步长对卷积填充后的可见光样本图像和红外光样本图像进行卷积处理之后，所述方法还包括：

对卷积处理后的可见光样本图像和红外光样本图像进行正则化处理，采用非线性激活函数对正则化处理后的可见光样本图像和红外光样本图像进行非线性变换；

所述根据预设的卷积步长对卷积填充后的第一可见光特征图和第一红外光特征图进行卷积处理之后，所述方法还包括：

对卷积处理后的第一可见光特征图和第一红外光特征图进行正则化处理，采用非线性激活函数对正则化处理后的第一可见光特征图和第一红外光特征图进行非线性变换。

6.如权利要求1所述的方法，其特征在于，所述第二子网络包括依次串联连接的第四特征提取网络和第五特征提取网络，所述依次串联连接的第四特征提取网络和第五特征提取网络用于基于训练图像组的预测融合图像和对应的目标融合图像的偏差信息确定图像融合损失信息。