[发明专利]一种基于多尺度对比度的红外与可见光图像融合方法

说明书

本发明公开了一种基于多尺度对比度的红外与可见光图像融合方法。能够基于计算得到的多尺度对比度，根据各尺度分解细节范围的不同，分别确定各层尺度信息中红外图像和可见光图像的融合权重，设计相应的多尺度信息的融合策略，使红外与可见光融合图像具有更好的视觉效果。结合表征人类视觉特性的对比敏感度函数，提取具有视觉敏感性的多尺度对比度，突出视觉敏感性信息，使融合图像具有更好的视觉效果，能够增强观察者对场景的感知和重要目标的快速识别能力；本发明在结合表征人类视觉特性的对比敏感度函数的同时，考虑了视觉对比度掩盖效应，有效利用视觉敏感性特征来指导融合过程，使融合图像的视觉效果进一步增强。

技术领域

本发明涉及多传感器图像融合技术领域，具体涉及一种基于多尺度对比度的红外与可见光图像融合方法。

背景技术

图像融合技术是将不同成像传感器获取的同一场景信息按一定的规则融合于一幅图像中，使得生成的融合图像能够同时呈现不同传感器获取到的互补信息，从而为机器自动识别处理或人眼观察提供信息更加全面、丰富的图像信息输入。近些年来，随着传感器技术和计算机运算能力的不断提高，多传感器图像融合技术的应用越来越广泛，特别是在军事和遥感领域，图像融合技术得到了广泛的重视和发展。在民用方面，多传感器图像融合也已经在智能机器人导航、医学图像处理、工业检测和视频监控等领域得到了广泛的应用。

红外与可见光图像融合是多传感器图像融合领域的重要技术。红外成像传感器由于对热辐射比较敏感，能够在有烟雾和其他物体遮挡情况下对目标进行成像，并且可以在夜间光线不足的环境中工作；而可见光相机的成像分辨率通常较高，能够有效捕捉场景里的其他细节信息。将红外与可见光成像传感器得到的图像融合在一起，能够实现优势互补，使最终融合图像信息得到极大增强。红外与可见光图像融合技术已经被广泛用于军事侦察、目标探测、场景监控和夜视增强等军事和民用领域。

目前，对于红外与可见光等不同传感器图像融合问题，研究和应用最多的是基于多尺度分解的图像融合方法。它最早源于Burt等人提出的拉普拉斯金字塔变换(LAP)方法，其他基于金字塔变换的多尺度分解方法大多是在此结构及其派生结构的基础上建立起来的。Toet等人基于人类视觉系统对局部对比度较为敏感的特性，提出了基于对比度金字塔变换(ROLP)的多尺度融合算法。随着基于小波变换的多尺度分解技术的发展，离散小波变换也被成功应用于图像融合。由于一般的离散小波变换不具有平移不变性，研究者们又提出了其他性能更好的多尺度分解方法。其中，双树复数小波(DT-CWT)由于具有良好的平移不变性和方向选择性，在图像融合领域常被用作多尺度信息分解的手段，但它同时也会增加整个融合计算的复杂性。

多尺度分解后能够得到表征不同尺度图像信息的一系列分解系数，在对两幅图像信息融合时，需要采用一定的策略对两幅图像的分解系数在同一尺度水平上进行融合，得到一系列多尺度融合系数，最后通过这些系数的组合重建出融合图像。因此，多尺度分解信息的融合策略是多尺度图像融合技术中的重要内容，融合策略的好坏直接影响到最终的图像融合效果和质量。到目前为止，人们已经研究和提出了多种形式的融合策略。由于系数绝对值的大小一般反映分解后对应位置处的子带信息强度的大小，最简单的基于像素的融合策略是选取对应位置处绝对值最大的系数作为融合后的系数。此外，还有考虑分解层内各子带及分解层间上下尺度子带信息相关性的系数选取策略，以及基于区域的融合策略，这种融合策略通过对多尺度分解系数求取基于区域的某种信息显著性指标，然后根据该指标结果按一定的规则确定多尺度分解系数的融合权重。另外，还存在基于多尺度区域分割等其他形式的融合策略，首先通过多尺度分割获得两幅待融合图像共用的图像多尺度区域，然后对每一区域计算信息显著性及区域相似度，通过制定相应的规则来完成分割区域内系数的选取或融合权重的确定。但是红外和可见光图像由于成像波段特性存在很大差异，两种信息在融合时容易形成相互干扰。现有的图像融合技术并未针对这种干扰有相应的融合策略，因此需要对此针对性地设计融合策略，使融合图像获得更好的视觉效果，便于人眼观察。

发明内容