[发明专利]基于场景景深的雾天可见光/红外图像彩色融合方法

说明书

技术领域

本发明涉及一种基于场景景深的雾天可见光/红外图像彩色融合方法，属于多波段图像融合领域。

背景技术

红外和可见光图像传感器在军事、安全监控领域具有广泛用途。可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节信息；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景，但是红外图像可以突出场景中的热目标或冷目标，尤其是场景中存在烟雾的情况下，红外线可以穿透烟雾探测到被遮挡的目标。

可见光和红外图像融合技术能够有效地综合和发掘二者的特征信息，突出目标，增强场景细节，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。1996年，荷兰国家应用科学研究院人力因素实验室(TNO)提出了TNO融合结构(简称TNO法)。TNO结构可将红外与微光图像差别较大的部分通过色彩突出出来。这种方法操作较为简单，便于实时实现，但彩色融合后图像动态范围降低，色彩对比过于强烈，不利于长时间观察。美国麻省理工学院(MIT)林肯实验室于20世纪90年代中期提出了基于生物视觉特性的彩色融合方法(简称MIT法)。MIT融合结构来源于生物的彩色视觉模型，即基于灵长类动物视觉模型和响尾蛇对可见光和热的感应模型，构造出前馈中心-周边分离网络(CSSN)，也称为拮抗处理。基于TNO方法和拮抗方法的线性组合法是目前最常用的融合方法，即融合图像是可见光图像与红外图像的线性组合，组合系数的选择没有特定的标准，一般根据经验获得。

色彩传递技术最早由Reinhard等人在2001年提出，色彩传递技术使用一幅颜色饱和度好、对比度高的白天自然图像作为参考图像，在参考图像和色彩不佳的源图像之间建立一种映射关系，调整源彩色图像各个颜色分量的均值和方差，使处理后的源图像具有与参考图像类似的色彩。2003年Toet将色彩传递技术引入到多波段的图像融合中，用以调整融合图像的色彩，但这种基于全局均值和方差的色彩传递方法的效果依赖于参考图像与源图像场景颜色的相似度，且目前没有成熟的参考图像选取准则。

随着单幅雾天图像增强技术的发展，根据雾天成像物理模型，图像的场景景深信息可以通过多种途径计算得到。2008年，Raanan Fattal假设场景点反射率与大气中悬浮颗粒的散射率是相互独立的两个量，根据独立成分分析方法计算出了场景的景深信息。2009年，KaimingHe基于暗通道先验知识也得到了与场景景深相关的传递参数。2009年，Peter Carr假设户外雾天图像中位于图像上方的场景点景深往往大于图像下方场景点的景深，用图像分割和α膨胀的方法计算出了场景景深。在国内，2007年，孙玉宝构建了一个包含场景景深与图像梯度的能量泛函，推导了相应的包含图像梯度和场景景深的偏微分方程，再通过用户简单的交互操作，估计出了场景点的景深。2008年，陈功利用晴天参考图像、雾天参考图像和场景的先验知识计算出雾天物理模型的部分参数，并借助于这些参数估算出场景中每个点与某一固定点的深度比。因此，场景景深信息的计算已经有了比较成熟的发展，根据单幅雾天图像计算场景景深是可行的。

发明内容

本发明的目的是为解决现有可见光/红外图像融合技术中融合系数选取没有特定标准，融合图像色彩不自然，以及不能有效处理雾天降质图像融合的问题，提出一种基于场景景深的雾天可见光/红外图像彩色融合方法。

该基于场景景深的雾天可见光/红外图像彩色融合方法，包括如下步骤：

步骤一、根据可见光图像，计算场景的景深信息；

步骤二、计算步骤一得到的场景景深的最大值，然后用景深图像除以该最大值，得到场景的归一化景深信息；

步骤三、根据步骤二得到的归一化景深信息，在YUV颜色空间进行可见光和红外图像的非线性加权彩色融合；

步骤四、选取参考图像，将参考图像变换至YUV颜色空间，并分别计算参考图像在Y、U、V通道的均值和方差；

步骤五、计算均值矩阵和方差矩阵，并进行色彩传递；

步骤六、将色彩传递后的YUV空间融合图像变换至RGB颜色空间。

步骤一中场景的景深信息为一幅与可见光图像大小相同的灰度图像，其中景深图像中灰度值大的像素点对应于可见光图像中景深大的像素点，且可见光图像中雾较厚区域的灰度值大于雾较薄区域的灰度值。

步骤二中归一化景深信息的取值范围在0和1之间。