[发明专利]一种基于目标预提取的无人机红外与可见光图像融合方法

说明书

本发明属于图像处理、计算机视觉领域，涉及一种基于目标预提取的无人机红外与可见光图像融合方法；采用基于图像梯度互信息的配准算法对无人机红外图像和可见光图像进行配准；采用基于频谱残留的目标预提取算法对配准后的红外图像和可见光图像进行目标预提取；采用区域分块融合算法对配准后的红外图像和可见光图像的预提取区域进行图像融合。本发明有效地解决了红外图像和可见光图像因视角或视场不同无法进行融合的问题，避免了整幅图像参与融合运算，降低了算法计算量；在不对图像进行分解变换的前提下，将目标预提取区域进行均匀分割，以预提取区域的显著性为基础分别计算各分割子区域的融合权重的方式更具科学性，融合结果更具真实性。

技术领域

本发明属于图像处理、计算机视觉领域，涉及一种无人机航拍视频中的红外与可见光图像融合的基于目标预提取的无人机红外与可见光图像融合方法。

技术背景

近年来，无人机作为一支新兴作战力量，在信息化作战条件下发挥了不可替代的作用，大力发展无人机装备技术，对于提升部队作战能力具有重大的战略意义。伴随传感器普遍使用以及传感器成像技术的日益增强，在无人机上搭载成像传感器，使得无人机在军事、民用领域有着突破性的进展应用。由于光照、气候等环境的条件限制，单源传感器拍摄的图像会受到一定的影响导致目标的误判，现在已经无法满足实际应用需求，多源传感器获取的图像融合技术能够获取更全面、更可靠的图像数据。无人机航拍图像下的多源图像融合技术能够把红外与可见光图像的信息充分结合起来，使得融合图像结果更精确、更丰富、更理想，能够为无人机目标检测、目标跟踪、遥感探测、地质勘探和毁伤评估等技术提供强大支持。高效准确的融合算法，可以有效地丰富图像信息，增加图像的清晰度、对比度和目标可识别性，快速提高作战信息提取能力和系统侦察能力。

目前在以视觉处理为基础的异源图像融合算法的主要步骤有：图像预处理、图像配准、信息处理、图像融合以及识别决策。依据融合在处理过程中所处的阶段，按信息抽象的程度，从目标识别层上，异源图像融合一般可分为三个层次：像素级图像融合、特征级图像融合和决策级图像融合。像素级的融合是指对同一像素级灰度的同个场景的异源图像进行融合处理，融合之前必须对待融合图像实施预处理和图像配准，以此提高融合的可靠性和精度；特征级融合是指先对原始图像进行局部特征提取，然后通过对局部特征进行融合处理获得复合特征，特征通常为图像的纹理、边缘、相似区域等。决策级图像融合需要先对各个源图像进行预处理、特征提取、识别或判决。在每个传感器完成目标提取与分类之后，最优决策通过综合各个传感器的决策可信度来确定。特征级的融合并没有融合图像信息的全部，融合时往往是忽略了图像全局信息，融合不充分；决策级图像融合是建立决策函数需要的样本进行长时间推理运算，需要耗费大量时间和占用大量内存，而像素级融合技术在以上三个融合层次中应用较为广泛，虽然所需处理的信息量大，对传感器性能要求较高，但融合准确性上优于特征级和决策级的融合。

红外图像与可见光图像是无人机机载传感器上拍摄的两类常见异源图像，所成图像的视角和视场不尽相同，其图像信息具有无序性和分布多样性的特点，包含有大量冗余信息，真正的侦察目标区域却只占少数，而且目标所占像素数不多，占整个图像比例较小，将整幅图像参与到融合处理中势必会加大算法计算量，造成融合系统运行效率低和侦察目标区域融合后的特征或对比度不明显等现象，不适用于实际侦察任务中的准确性要求。

综上所述，在无人机视频图像处理系统中，红外图像与可见光图像的融合技术目前面临以下问题：

1)无人机航拍侦察中，红外图像传感器和可见光图像传感器所成图像的视角或视场不尽相同，直接进行融合没有意义；

2)无人机航拍视频图像包含有大量冗余信息，真正的侦察目标区域却只占少数，而且目标所占像素数不多，占整个图像比例较小，将整幅图像参与到融合处理中势必会加大算法计算量；

3)将整幅图像参与到融合处理中，融合算法没有目标性和针对性，融合的图像中的无人机重点侦察目标区域没有太高的区分度和可识别性；