[发明专利]基于NSST和自适应双通道PCNN的图像融合方法及装置

说明书

本发明提供的基于NSST和自适应双通道PCNN的图像融合方法及装置，采用NSST作为多尺度变换工具对图像进行多尺度分解，NSST在分解阶段去除了采样操作，具备平移不变性，同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更好，再利用含有三种链接强度的自适应简化双通道PCNN模型，通过三个不同的链接强度相互联系，将图像的特征较为完整的表现，有效地融合红外和可见光图像，具有较高的对比度，较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然，没有出现伪影现象。

技术领域

本发明涉及图像融合领域，特别涉及一种基于NSST和自适应双通道 PCNN的图像融合方法及装置。

背景技术

图像融合(Multi-source Image Fusion)的概念是在二十世纪七十年代初期 提出的，其主要是对图像之间的内在联系进行研究，通过采用适当的算法， 将两幅或者多幅具有冗余、多样和互补信息的多源图像进行融合，生成的融 合图像包含有更丰富信息。红外与可见光融合是目前应用最为广泛的，两者 的有效结合可综合两种图像各自的优点，形成对比度高、背景增强、目标突 出的融合图像，更利于快速准确地探测和发现隐藏、伪装的目标。

近些年学者们提出了很多图像融合算法，然而在这些众多的方法中，多 尺度几何分析是目前应用最为广泛的一种。该方法的思想就是将图像分解成 一系列不同尺度、不同频率的子带图像，然后采用适当的融合规则处理相应 的子带图像，最终得到融合图像。目前人们提出的多尺度几何分析方法主要 有：轮廓波变换、非下采样轮廓波变换(NSCT)、双树复小波变换(DTCWT)、 剪切波变换(ST)、非下采样剪切波变换(NSST)等。值得一提的是，在这 些众多的方法当中，NSST是最为先进的一种。NSST由合成小波构造而成， 可以由此获得多方向的紧支撑结构，而且它在分解的过程中不存在下采样操 作，因此可以对图像进行最为精细地稀疏分解。NSST在方向局部化阶段，大 尺寸剪切波滤波器会引起频谱混叠现象，为此我们在NSST的基础上采用局 部化小尺寸剪切滤波器，能够避免块效应和弱化吉布斯振铃现象，提高时域 卷积计算效率。

另外，良好的图像融合算法不仅取决于多尺度几何分析工具，还取决于 相应的融合规则。一些传统的融合规则一般采取加权平均方法，该方法使红 外图像与可见光图像的亮度相互补充，最终导致图像对比度降低、重构图像 不够自然。PCNN是根据哺乳动物的大脑视觉信息系统总结而来，因此具有 仿生机制。使用模型作为融合规则时，能够保持输入图像的空间二维信息的 完整性，将图像的信息特征与PCNN模型的视觉特性完美结合，获得较好的 融合效果。在大部分研究PCNN的文献中，基本都运用传统单通道PCNN模 型，该模型只反映了一个源图像的信息，而对另一个源图像不予以考虑。同 时传统PCNN模型仍存在大量外设参数，并且都不可忽略，很多值都要靠经 验值设定，这使融合的准确性与时效性大大降低。文献《A fusion algorithm for infrared and visible images based onadaptive dual-channel unit-linking PCNN in NSCT domain[J]，Infrared Physics&Technology，2015，69：53–61》提出了 一种自适应双通道PCNN模型解决了上述问题，虽然取得了一定效果，但是 却出现了黑色伪影和目标光晕等现象。其主要因素是红外与可见光图像光谱 差异较大，导致PCNN模型中链接强度值的稳定性下降，而链接强度反映了 人眼视觉系统对图像中不同特征区域反应的强烈程度，这最终造成融合图像 的不连续和边缘模糊等缺陷。

发明内容

本发明实施例提供了一种基于NSST和自适应双通道PCNN的图像融合 方法及装置，有效地融合红外和可见光图像，具有较高的对比度，较完整地 保留了丰富的纹理信息和细节信息，并且图像过渡自然，没有出现伪影现象。

第一方面，本发明提供一种基于NSST和自适应双通道PCNN的图像融 合方法，所述方法包括：