[发明专利]一种基于密集连接网络的图像融合方法

说明书

本发明提供的一种基于密集连接网络的图像融合方法，首先将获取的第一图像和第二图像分别输入至第一卷积层中，通过第一卷积层来提取第一图像和第二图像的浅层特征，接着，再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中，通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征，并且通过密集连接网络提取的特征具有上下文联系，能够更好地进行图像融合；最后，本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合，并对融合后的特征进行重构后获得最终的融合图像，该融合图像包含丰富的边缘信息和场景信息，提高了融合质量。

技术领域

本发明涉及图像融合技术领域，尤其涉及一种基于密集连接网络的图像融合方法。

背景技术

近年来，红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小，在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射，获得边缘清晰、轮廓清晰的可见光图像。然而，由于红外相机的固有特点，存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此，结合红外和可见光图像的优点，融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。

目前，随着深度学习的发展，许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像，但基于卷积网络的方法仍然存在缺陷，使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低。

发明内容

本发明的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低的技术缺陷。

本发明提供了一种基于密集连接网络的图像融合方法，所述方法包括：

获取待融合的第一图像和第二图像；

通过第一卷积层提取所述第一图像和所述第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图；

通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图；

对所述第一深层特征图和所述第二深层特征图进行加权融合；

将加权融合后的特征图进行重构，得到最终的融合图像。

可选地，所述第一图像包括红外图像，所述第二图像包括可见光图像；

所述获取待融合的第一图像和第二图像的步骤，包括：

获取红外图像和原始可见光图像；

利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像。

可选地，所述利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像的步骤，包括：

确定所述红外图像的分辨率；

根据所述红外图像的分辨率对所述原始可见光图像进行裁剪，得到可见光图像。

可选地，所述密集连接网络包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，每个卷积块包括至少三个密集卷积层。

可选地，所述通过密集连接网络提取所述第一浅层特征图的深层特征，得到第一深层特征图的步骤，包括：

通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；

依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；