[发明专利]红外与可见光图像融合的双分支卷积神经网络装置

说明书

本发明公开了红外与可见光图像融合的双分支卷积神经网络装置，双分支卷积神经网络包括级联模块、低频融合模块、高频融合模块以及融合模块；所述级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；所述低频融合模块，用于学习所述级联图像的局部特征，得到低频融合图像；所述高频融合模块，用于学习所述级联图像的全局特征，得到高频融合图像；所述融合模块，用于根据所述低频融合图像和所述高频融合图像构建融合图像。本发明的目的在于提供一种红外与可见光图像融合的双分支卷积神经网络及融合方法，使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种红外与可见光图像融合的双分支卷积神经网络装置。

背景技术

红外和可见光图像在交通运输系统中起着重要作用。红外图像是根据物体发射的热辐射获得的，它们虽然受天气和光条件的影响较小，但是红外图像中的背景信息往往是缺失的。相比之下，可见光的图像包含更多的纹理信息，然而它非常容易受到成像环境和照明条件的影响。为了解决上述问题，提出了红外和可见光图像融合技术，红外和可见光图像融合技术可以将红外和可见光图像对融合成一幅图像，融合图像包含来自可见光图像的纹理信息和来自红外图像的热辐射细节，从而更有利于人类的观察和计算机分析。

目前，基于多尺度变换的图像融合算法在图像融合领域被广泛应用，如：拉普拉斯金字塔变换、离散小波变换、非下采样轮廓波变换、非下采样剪切波变换等等，这些基于多尺度变换的算法可以简单概括为以下步骤：

(1)对源图像进行多尺度分解，以得到不同的信息分量图；

(2)根据不同图像分量的特点，选取不同的融合规则对相应分量单独进行融合；

(3)采用逆多尺度变换来获得最终的融合图像。

然而，现有的图像融合算法处理后得到的图像会损失部分细节、纹理而造成图像不清晰甚至难以被人眼直接观看。

发明内容

本发明的目的在于提供一种红外与可见光图像融合的双分支卷积神经网络装置，使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。

本发明通过下述技术方案实现：

红外与可见光图像融合的双分支卷积神经网络装置，双分支卷积神经网络包括级联模块、低频融合模块、高频融合模块以及融合模块；

所述级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；

所述低频融合模块，用于学习所述级联图像的局部特征，得到低频融合图像；

所述高频融合模块，用于学习所述级联图像的全局特征，得到高频融合图像；

所述融合模块，用于根据所述低频融合图像和所述高频融合图像构建融合图像。

优选地，所述低频融合模块包括低频浅层特征提取单元、深层特征提取单元、上采样单元以及低频重建单元；

所述低频浅层特征提取单元，用于提取所述级联图像的浅层特征；

所述深层特征提取单元，用于提取所述浅层特征的深层特征；

所述上采样单元，用于调整所述深层特征的尺寸，直至所述深层特征的尺寸与所述级联图像的尺寸一致；

所述低频重建单元，用于将所述深层特征构建为所述低频融合图像。

优选地，所述深层特征提取单元包括3个卷积层，任意一个所述卷积层的卷积核大小为3×3，步长为2。

优选地，所述高频融合模块包括高频浅层特征提取单元、局部残差特征提取单元、全局特征提取单元以及高频重建单元；