[发明专利]一种基于微光和红外传感器的图像融合系统

说明书

本发明涉及一种基于微光和红外传感器的图像融合系统，分为微光和红外传感器信息采集模块，FPGA核心处理模块，DSP协处理模块和输出显示模块；外部的微光与红外传感器采集的视频图像经过接口输入到装置中；输入视频图像进行图像的预处理：包括图像去噪声、图像增强和图像配准，其中图像去噪声和图像增强处理，要求延时较低，在FPGA芯片中实现，图像配准算法需要的计算量较大，在DSP芯片中实现；经过预处理后的视频图像通过FPGA芯片进行融合，包括灰度融合和伪彩色融合；FPGA控制逻辑可以选择一路图像通过接口输出：单微光视频、单红外视频、灰度融合视频和伪彩色融合视频。本发明实现了高精度，低延迟和扩展性好的图像融合系统，对于夜间的观测、探查应用有重要实践意义。

技术领域

本发明涉及一种基于微光和红外传感器的图像融合系统，适用于观瞄系统在夜间对室外场景进行观测、探查，属于数字图像处理的技术领域。

背景技术

不同的图像传感器可以接收到不同波段的光谱信号，对于光谱的响应要远远的超过人眼的能力，因此可以得到更丰富的图像信息。在现实的应用中，人们往往需要结合不同传感器提供的信息进行分析处理，鉴于便携性的考虑，更多的应用场景下多传感器的信息需要通过一个显示设备进行展示；图像融合技术就是一种将多种传感器得到的多源图像提炼、整合成为一幅图像，以获得对同一场景更精确、全面的描述的方法。本发明一种基于微光传感器和红外传感器的图像融合装置及方法，就是将微光传感器采集到的图像和红外传感器采集到的图像，通过数字图像处理的技术融合成一幅图像的技术。

在夜晚低照度的场景下，人眼不能有效的提取到场景信息。微光传感器通过高感光度CCD(电荷耦合元件)/CMOS(互补金属氧化物半导体)传感器，可以在星光的条件下正常成像，源图像有丰富的对比度、形状纹理信息，但是受于可见光波段的限制，会受到遮挡物的影响；红外传感器则可以提取场景中不同目标的热辐射信息，成像不受光照条件影响，具有穿透烟、雾等的能力，探测距离远，然而图像分辨率较低、缺乏纹理信息。综上所述，可以发现在夜晚的侦查、探测应用中，比如军事侦查、森林防火、交通检测、安防监控等，如果能够将微光传感器和红外传感器的图像信息进行融合将大大提高侦查、探测的精度。

将可见光波段和中、远红外波段的图像进行融合，从实现的手段上划分技术方案有两种：光学融合方法、全数字融合方法。

专利(公开号)CN107045208A提出了一种光学融合的方法，系统延迟低，但是存在无法查看单一传感器信息、无法保存采集到的图像的问题；而采用全数字融合的方式，虽然能解决光学融合的弊端，但是由于受到硬件的限制、传感器的性能影响，实际获得的源图像往往不能直接通过融合算法实现有效的图像融合，需要经过图像校正、增强、配准等预处理后再进行融合。

专利(公开号)CN107203987A提出了一种全数字方式的融合系统，提出了采用多核异构处理器AM572x加多核异构处理器DSP的系统方案，图像预处理通过相机的图像处理器(ISP)芯片实现，但是可扩展性比较差。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于微光和红外传感器的图像融合系统，具有高精度、低延时、可扩展性好的优点，适用于微光传感器和红外传感器的图像融合。