[发明专利]一种基于双层优化的红外和可见光融合方法

说明书

本发明属于图像处理和计算机视觉领域，提出了一种基于双层优化的红外和可见光融合方法，采用一对红外相机和可见光相机获取图像，涉及构建双层范式的红外和可见光图像融合算法，是一种利用数学建模手段的红外与可见光融合算法。利用双目相机和NVIDIA TX2构建高性能运算平台，并构建高性能求解算法以获高质量的红外和可见光融合图像。系统容易构建，分别使用立体双目红外和可见光相机即可完成输入数据的采集；程序简单，易于实现；利用红外和可见光相机成像的不同原理，通过用于数学建模手段，将融合图像分成图像域和梯度进行融合，有效的处理了融合时产生的伪影并提高了融合质量，最后通过GPU加速达到实时。

技术领域

本发明属于图像处理和计算机视觉领域，采用一对红外相机和可见光相机获取图像，涉及构建双层范式的红外和可见光图像融合算法，是一种利用数学建模手段的红外与可见光融合算法。

背景技术

基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨、雪天或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合系统，是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。

多模态图像融合技术是利用多个图像之间的互补性和冗余性，采用特定的算法或规则进行融合，得到高可信度、视觉更优图像的一种图像处理算法。相比于同模态融合图像单一性，多模态图像融合可以更好的获取不同模态下图像的交互信息，逐渐成为解决灾害监测，无人驾驶，军事监控，深空探测的重要手段。其目标是利用不同模态传感器成像的差异性和互补性，极大限度地提取各模态的图像信息，使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来，大多融合方法都是基于变换域进行研究设计，没有考虑到图像多尺度的细节信息，导致融合后的图像中细节丢失，如公开专利CN208240087U一种红外与可见光融合系统及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解，在保留红外和可见光图像的有效信息的基础上，实现细节的增强且去除伪影。

发明内容

本发明旨在克服现有技术的不足，提供了一种基于双层范式的红外与可见光实时融合算法。通过设计针对红外和可见光图像进行基于双层范式的数学建模，分别在图像的图像域和梯度域进行求解，最后通过GPU加速达到实时。

本发明的具体技术方案：

一种基于双层优化的红外和可见光融合方法，包括步骤如下：

1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；

1-2)利用联合标定获得的RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；

2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；

2-1)针对可见光图像是RGB三通道的问题，进行RGB色彩空间到HSV色彩空间的转换，V为明度，H为色调，S为饱和度；提取可见光图像的明度信息与红外图像进行融合，保留其色调和饱和度，具体转换如下所示：

R′＝R/255 G′＝G/255 B′＝B/255

Cmax＝max(R′,G′,B′)