[发明专利]训练图像融合模型的方法、装置和电子设备

权利要求书

1.一种训练图像融合模型的方法，其特征在于，所述方法包括：

获取训练数据集，所述训练数据集中包含图像对，所述图像对包含同一场景下的红外图像和可见光图像；

将所述图像对输入初始的图像融合模型，所述图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；

经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像；

根据预设损失函数计算所述融合图像与所述图像对之间的差异值，并根据计算的差异值更新所述图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述预设损失函数用于计算结构损失值和内容损失值。

2.根据权利要求1所述的方法，其特征在于，所述经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像，包括：

对所述图像对进行通道级联处理，得到级联图像；

将所述级联图像输入所述浅层特征提取网络以提取浅层特征图谱；

将所述浅层特征图谱输入所述深层特征提取网络以提取深度特征信息；

将所述浅层特征图谱和所述深度特征信息输入所述全局特征融合网络以对所述浅层特征图谱和所述深度特征信息进行整合，得到整合后的图像；

将所述整合后的图像输入所述特征重构网络以对所述整合后的图像进行特征重构，得到融合图像。

3.根据权利要求1所述的方法，其特征在于，所述预设损失函数包含结构损失函数和内容损失函数，所述根据预设损失函数计算所述融合图像与所述图像对之间的差异值，包括：

通过所述结构损失函数对第一结构损失和第二结构损失进行加权平均计算，得到所述融合图像的结构损失值，所述第一结构损失为所述红外图像与所述融合图像之间的结构损失，所述第二结构损失为所述可见光图像与所述融合图像之间的结构损失；

通过所述内容损失函数对第一内容损失和第二内容损失进行加权平均计算，得到所述融合图像的内容损失值，所述第一内容损失为所述红外图像与所述融合图像之间的内容损失，所述第二内容损失为所述可见光图像与所述融合图像之间的内容损失；

对所述融合图像的结构损失值和内容损失值进行加权计算，得到所述融合图像与所述图像对之间的差异值。

4.根据权利要求3所述的方法，其特征在于，所述通过所述结构损失函数对第一结构损失和第二结构损失进行加权平均计算，得到所述融合图像的结构损失值，包括：

通过所述结构损失函数对像素级的第一结构损失和第二结构损失进行加权平均计算，得到像素级的结构损失值；

所述通过所述内容损失函数对第一内容损失和第二内容损失进行加权平均计算，得到所述融合图像的内容损失值，包括：

通过所述内容损失函数对像素级的第一内容损失和第二内容损失进行加权平均计算，得到像素级的内容损失值；

所述对所述融合图像的结构损失值和内容损失值进行加权计算，得到所述融合图像与所述图像对之间的差异值，包括：

对所述像素级的结构损失值和所述像素级的内容损失值进行加权计算，得到所述融合图像与所述图像对之间像素级的差异值。