[发明专利]基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法

说明书

本发明公开了一种基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法，主要解决红外与可见光图像融合结果中目标不够清晰的问题。其实现步骤是：1)待融合的两幅图像进行非下采样轮廓波NSCT变换，分解得到低频子带和高频子带；2)包含细节信息的高频子带系数，使用NSCT系数绝对值取大的融合策略进行融合；3)对NSCT低频子带系数，通过基于目标可信度的自适应混合融合策略实现融合；4)融合后的高、低频系数执行NSCT逆变换得到融合图像。本发明能充分提取红外图像的目标信息，有效保护可见光图像的细节，改善视觉效果，相比传统的融合方法极大地提高了融合图像的质量。

技术领域

本发明涉及一种基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法,是图像处理技术领域的一项融合方法，在军事监控中有广泛的应用。

背景技术

红外和可见光图像的融合在监控和军事领域有重要的意义。红外图像能记录图像场景里的热红外辐射信息但是通常红外图像的分辨率较低。可见光图像擅长细节纹理信息的表达但是很难表达热红外辐射信息。考虑到红外图像和可见光图像之间的这一互补性，将同一场景的红外图像和可见光图像融合得到的新图像将同时具有热辐射目标定位的作用和较高的分辨率。

通常，图像融合的方法可以分为两大类：在空域中的图像融合和变换域中的图像融合。前者有空间扭曲的问题而后者可以轻易的解决这个问题。多尺度分解工具的选择在变换域融合中起着至关重要的作用，多尺度分解技术有了很长的发展历程。在1989年，Mallat首先提出了离散小波变换(DWT)的数学模型，DWT将图像分解为一个低频子带和三个方向的高频子带。相比直接在空域中分析，DWT用三个方向的高频子带系数来捕捉图像的纹理和边缘信息。但是DWT导致混叠现象，此外由于DWT的变换过程中存在下采样的过程，因此DWT不具有平移不变性。为了克服DWT的一些缺陷，Rockinger等人提出了平稳小波变换(SWT)，SWT具有了平移不变性，但是和DWT一样，只有三个方向的高频子带。Minh N.Do等人提出了轮廓波变换(CT)，相比DWT和SWT，CT在高频部分拥有更多方向的子带，但是它缺乏平移不变性。Cunha等人提出了非下采样轮廓波变换(NSCT)，NSCT相比于CT具备了平移不变的特性。

变换域图像融合中另一个很重要的因素是融合规则的设计。融合规则的设计指的是寻找一种合适的策略融合相对应子带系数从而得到最好的融合图像。融合规则的设计包括融合策略的设计和活动测度的选择。常用的融合策略包括取大融合策略和加权融合策略。取大的策略指的是选择活动测度较大者对应的子带系数作为融合后的子带系数。加权融合的策略指的是根据活动测度和权值计算公式计算待融合子带系数的权值。

活动测度的质量依靠于有效的特征选取，选择的特征要求能够反映图像的本质。通常特征分为人工特征和数据驱动的特征。人工标注的特征指的是用一系列由专家设计的公式求解得到的特征，比如香农熵。数据驱动的特征通常是由一些非监督的特征学习工具从数据中提取出来的，这类特征包括张量(Tensor)、稀疏表示(SR)和栈式自编码(SSAE)。Liang等人将Tensor引入了图像融合的框架里，首先利用高阶奇异值分解(HOSVD)将图像分解得到系数，然后利用系数的绝对值作为活动测度构融合规则。Yang和Li等人将SR引入了图像融合领域，首先利用重叠滑块的方法将图像分成等大的小块，然后利用一部过完备字典将图像进行分解得到具备稀疏性质的系数，最后利用分解得到的系数作为活动测度构造融合规则。考虑到红外图像和可见光图像之间差异较大，很难学习到一部字典能充分地发掘其本质特性。深度学习模型因对复杂数据具有卓越学习能力而受到越来越多的关注。相比传统的机器学习方法，深度学习模型的多层网络结构能有效地从数据中提取出属于多个抽象层次的特征。其中栈式稀疏自编码(SSAE)作为深度学习的一个分支近年来发展迅速。由于图像融合应用中缺乏带标签的训练数据，具有无监督特性的SSAE比其它属于监督学习范畴的方法更适合应用到图像融合中。

发明内容