[发明专利]基于NSCT及深度信息激励PCNN的多聚焦图像融合方法

说明书

技术领域

本发明属于图像处理中的图像融合领域，尤其涉及一种基于非下采样Contourlet变换 (NSCT)及深度信息激励PCNN的多聚焦图像融合方法。

背景技术

多聚焦图像融合技术是指将同一场景中聚焦对象为不同局部物体的多幅源图像进行融 合，有效获取各个源图像的清晰部分，最终得到一幅包含该空间更为全面的图像信息的高质 量图像。

图像融合方法分类有像素级、特征级、决策级这三个不同层次。本发明研究的多聚焦图 像融合属于像素级图像融合的层次，主要包括基于空间域的图像融合和基于变换域的图像融 合。目前大多数研究以基于变换域的方法为主。该方法主要通过多尺度变换的方法将图像空 域变为频域，再经过融合规则的处理得到融合系数，最终通过多尺度的逆变换得到融合结果。 小波变换是最常用的变换域融合方法，具有良好的时频局部性能，能很好地保留图像细节信 息，但其不具备平移不变性，会产生伪吉布斯现象。2002年Contourlet变换的提出解决了小 波变换分解方向子带少的问题，但其不具备平移不变性，导致融合图像失真，ArthurL.da Cunha等人提出非下采样Contourlet变换，具有平移不变性，避免出现伪吉布斯现象。常用的 多尺度变换还包括Laplace金字塔、曲波、轮廓波等。多尺度图像融合的研究难点主要包括 多尺度分解方法的选择以及融合方法的选择两方面。多尺度分解方法如前所述有Laplacian塔 式法、小波变换和Contourlet变换等，在融合方法上主要有平均法、最大值法和区域能量法 等。研究表明，利用PCNN神经网络的同步激发特性来设计融合方法有较好的融合效果。

神经网络在图像融合中的应用主要有：双模态神经网络、多感知器以及脉冲耦合神经网 络。其中PCNN应用最广泛，国际上称为第三代人工神经网络。PCNN是1990年Eckhorn通 过对猫的大脑视觉皮层中的同步脉冲发放特性的研究而提出的新型神经网络。1993年Johnson 以Eckhorn提出模型为基础，正式提出了PCNN，由若干个神经元互连而构成的反馈型网络。 PCNN具有特有的生物学特性，它是以生物大脑视觉皮层中同步脉冲发放现象为背景提出的， 当应用到图像融合中时不仅利用了像素点的空间特性而且还具有融合的时间层次性。

本发明基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法，采用改进拉 普拉斯能量和(SML)与图像深度信息结合的因子对PCNN模型进行改进而提出的一种新型图 像融合方法。采用非下采样Contourlet变换对源图像进行多尺度分解得到低频子带及各带通 子带，低频子带的系数选取采用基于子带系数的边缘信息能量的方法确定，带通子带系数通 过PCNN模型来确定，最后通过非下采样Contourlet逆变换得到融合图像。由于人眼视觉系 统对单个像素不敏感，而对图像边缘、方向和纹理等信息较敏感，所提出的PCNN采用能够 较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为 输入项的值而没有采用单个像素的灰度值。

发明内容

为了解决上述问题，本发明需要解决的技术问题是针对PCNN应用到图像融合中的不足 之处，提出基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法。该方法更符 合人眼视觉系统的视物规律，使融合图像效果更佳。

为达成上述目的，本发明采用如下技术方案：

一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法，具体 步骤如下：

(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像I_A和I_B进行 多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同 分辨率的高频子带图像。

(2)对低频子带图像I_A-lf和I_B-lf采用基于子带系数的边缘信息能量来得到融合后的低频子 带图像I_F-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图 像的对比度。能量表达式为：