[发明专利]基于3维Log-Gabor变换的视频图像融合性能评价方法

说明书

技术领域

本发明涉及图像处理领域，具体说是一种视频融合性能评价方法，该方法用于从时-空信息提取及时-空一致性两个方面综合评价各种融合方法的性能。

技术背景

图像融合技术已经广泛应用于机器视觉、数码相机、目标识别等领域。然而，目前绝大多数图像融合方法是针对静态图像融合处理而设计的，而有关多传感器视频图像融合研究较少。在安全监视以及战场环境下的目标检测和识别等实际应用中，往往需要对来自多个传感器的视频图像进行融合处理。视频图像融合不仅在空间性能上要满足一般图像融合的基本要求，即融合后视频图像各帧图像应尽可能地保留输入视频图像各帧图像中的有用信息和避免引入虚假信息等；在时间性能上还要满足时间一致性和稳定性，即融合后视频图像中各帧图像之间的灰度值差异仅能由输入视频图像中各帧图像之间的灰度值差异引起，而不能由算法自身融合过程引入(O.Rockinger,“Image sequence fusion using a shift invariant wavelet transform,”IEEETransactions on Image Processing,Vol.3,1997,pp.288-291.)。

目前大多数的融合性能评价方法都是针对于静态图像融合性能的评价，例如：基于梯度信息保留的性能评价方法(V.Petrovic,C.Xydeas,“Objective evaluationof signal-level image fusion performance”,Optical Engineering,SPIE,Vol.44,No.8,2005,pp.087003.)和基于结构相似度的性能评价方法(G.Piella,H.Heijmans,“A new quality metric for image fusion,”IEEE InternationalConference on Image Processing,2003.)等。可以采用逐帧评价方式将上述静态图像融合性能评价方法用于视频图像融合性能评价中，但这种评价方法只能从空间信息提取一个方面对视频图像融合算法进行评价。为了评价各视频融合算法在时间一致性和稳定性方面的融合性能，Rockinger提出了一种基于帧差图像互信系熵的视频图像融合性能评价方法(O.Rockinger,“Image sequence fusion using a shiftinvariant wavelet transform”，IEEE Transactions on Image Processing,Vol.3,1997,pp.288-291.)。与其它静态图像融合性能评价方法一样，该方法对视频图像融合性能评价时存在片面性。Petrovic等在基于空间梯度信息保留的融合性能评价方法的基础上，设计了一种基于空间-时间联合梯度信息保留的视频图像融合性能评价方法（V.Petrovic,T.Cootes,R.Pavlovic,“Dynamic image fusion performanceevaluation,”10th International Conference on Information Fusion,2007），这种方法能够从空间信息提取及时间一致性和稳定性两个方面对视频图像融合性能进行综合评价。然而，该方法是一种基于梯度信息的性能评价方法，易受噪声影响。该方法在设计过程中没有考虑人眼视觉感知特性，而人眼往往是视频图像融合的最终接收端。Qiang Zhang等设计了一种基于结构相似度和人眼视觉的空间-时间视频图像融合性能评价方法，（Qiang Zhang,Long Wang,“Video fusion performanceevaluation based on structural similarity and human visual perception”,10thSignal Processing,2011）,这种方法能从空间信息提取和时间一致性和稳定性两方面对视频进行评价，然而，该因子中时间一致性和稳定性评价因子是基于帧差图像构建，对噪声很敏感，并且该评价因子的实现过程也有一定难度。

在输入视频有噪声或背景运动这两种情况下，以上所有性能评价方法均不能给出准确的性能评价结果。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于3维Log-Gabor变换的视频图像融合性能评价方法，从时-空信息提取及时-空一致性两个方面综合评价视频图像融合的融合性能，同时结合人眼视觉ST-CSF公式和3维梯度结构张量使得在输入视频有噪声或背景运动下的评价结果更准确。