[发明专利]训练图像融合模型的方法、装置和电子设备

说明书

本申请公开了一种训练图像融合模型的方法和电子设备，属于图像处理领域。其中的方法包括：获取训练数据集，训练数据集中包含图像对；将图像对输入初始的图像融合模型，图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；经过浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到图像对的融合图像；根据预设损失函数计算融合图像与所述图像对之间的差异值，并根据计算的差异值更新图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述损失函数用于计算结构损失值和内容损失值。本申请可提高融合图像的客观真实性。

技术领域

本申请属于图像处理技术领域，具体涉及一种训练图像融合模型的方法、装置和电子设备。

背景技术

随着传感器成像技术的迅猛发展，单一传感器成像难以满足日常应用需求，多传感器成像已引领技术革新。图像融合是指将多个传感器探测的图像信息综合处理后，实现对探测场景更全面、更可靠的描述。

红外与可见光作为图像处理领域最广泛应用的图像类型，红外图像可以高效捕捉场景热辐射且辨识场景高亮目标，可见光图像具有高分辨率特性可呈现场景细节纹理信息，二者图像信息具有高效互补性。因此对红外图像和可见光图像进行融合，可以获得丰富场景信息量的融合图像，能够对场景背景和目标进行清晰准确的描述。

目前，针对红外图像与可见光图像的融合任务，通常使用基于多尺度分解融合算法，例如小波变换融合算法，将图像进行特征提取以及分解，随后对特征进行分类，同时针对不同特征及场景类别特征制定不同的特征融合策略，得到融合后的多组融合特征进行逆变换，将融合特征变换回融合图像。

然而，经典基于多尺度分解的图像融合算法，通常沿用固定的变换以及特征提取层次对图像进行特征分解和重构，不仅对图像特征提取和分解存在较大的局限性，同时融合算法中需采用人为制定的特征融合规则，导致融合结果容易引入人为视觉伪影，破坏图像信息的客观真实性，影响融合图像的效果。

发明内容

本申请实施例的目的是提供一种训练图像融合模型的方法，能够解决现有技术对红外图像与可见光图像进行融合需采用人为制定的特征融合规则，导致融合结果容易引入人为视觉伪影，破坏图像信息的客观真实性，影响融合图像的效果的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种训练图像融合模型的方法，该方法包括：

获取训练数据集，所述训练数据集中包含图像对，所述图像对包含同一场景下的红外图像和可见光图像；

将所述图像对输入初始的图像融合模型，所述图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；

经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像；

根据预设损失函数计算所述融合图像与所述图像对之间的差异值，并根据计算的差异值更新所述图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述预设损失函数用于计算结构损失值和内容损失值。

第二方面，本申请实施例提供了一种训练图像融合模型的装置，该装置包括：

数据获取模块，用于获取训练数据集，所述训练数据集中包含图像对，所述图像对包含同一场景下的红外图像和可见光图像；

数据输入模块，用于将所述图像对输入初始的图像融合模型，所述图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；