[发明专利]一种基于红外与可见光的视频图像处理系统及方法

权利要求书

1.一种基于红外与可见光的视频图像处理系统，包括红外光学系统、可见光光学系统、红外传感器、可见光传感器、图像处理模块和图像输出模组，红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，其特征在于，还包括双向传输的接口电路，用于实时处理红外数据模拟信号和可见光数字信号并传输给图像处理模块同时控制红外传感器和可见光传感器，图像处理模块包括图像成像模块、全辐射测温模块、图像融合模块和分类识别模块，分别用于对红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别，图像输出模组用于输出图像处理模块分析处理后的图像信息。

2.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述图像处理模块是基于DSP和CPU/MPU架构的集成芯片。

3.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述接口电路为ADC与FPGA接口电路，ADC电路用于将红外传感器输出的模拟电压进行数字量化，FPGA用于实现对红外传感器和见光传感器的时序驱动和寄存器配置以及对可见光数字信号和ADC电路量化后的红外数据进行分析处理。

4.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述图像输出模组包括Wifi接口、BT接口、CMOS接口、LAN接口、MIPI接口、HDMI接口、USB接口和LCD接口。

5.根据权利要求1所述的基于红外与可见光的视频图像处理系统，其特征在于，所述图像处理模块的软件架构从底层到顶层依次包括：BSP层，用于系统中的接口驱动；中间件层，用于可见光图像处理和音视频编解码；图像算法层，用于红外图像处理、图像融合、全辐射测温和目标检测识别以及提供图像算法API，供应用层根据不同的应用方式进行灵活组合，完成定制化应用；应用层，用于提供应用程序需要的信息交换和远程操作。

6.根据权利要求1至5任一项所述的基于红外与可见光的视频图像处理系统，其特征在于，还包括电源管理模块和显示模块，所述电源管理模块用于对系统供电、调控输出电压和管理上电时序，所述显示模块用于显示图像处理模块输出的视频图像，所述电源管理模块与图像处理模块连接，所述显示模块与图像输出模组连接。

7.一种根据权利要求1至5任一项所述的基于红外与可见光的视频图像处理系统的视频图像处理方法，其特征在于，包括以下步骤：

（1）红外传感器通过红外光学系统实时获取目标场景的红外数据模拟信号，可见光传感器通过可见光光学系统实时获取目标场景的可见光数字信号并将可见光数字信号传输给图像处理模块，同时红外数据模拟信号和可见光数字信号通过接口电路处理后传输给图像处理模块，接口电路同时控制可见光传感器和红外传感器；

（2）图像处理模块中的图像成像模块、全辐射测温模块、图像融合模块和分类识别模块对输入的红外数据信息和可见光数据信息进行图像成像、测温、融合以及进行目标检索、分类和识别处理；

（3）经过图像处理模块处理后的视频图像通过图像输出模组进行输出，并在显示模块上显示。

8.根据权利要求7所述的一种基于红外与可见光的视频图像处理方法，其特征在于，步骤（2）中图像成像模块对输入的数据信息进行盲元检测与补偿、非均匀性校正、图像降噪、图像细节增强和动态压缩处理；图像融合模块对输入的可见光数据信息和红外数据信息进行图像配准、处理和融合；图像识别模块通过样本采集和训练学习，然后基于训练学习对传输来的数据信息进行特征选择和提取以及进行视觉目标检测和分类识别。

9.根据权利要求8所述的一种基于红外与可见光的视频图像处理方法，其特征在于，图像降噪处理方法包括中值滤波法、双边滤波法和基于多尺度变换的小波降噪法。

10.根据权利要求8所述的一种基于红外与可见光的视频图像处理方法，其特征在于，图像细节增强和动态压缩处理方法包括以下步骤：

（a）对可见光和红外图像进行低通滤波，分别得到可见光图像低频分量图和红外图像低频分量图；

（b）用滤波前的可见光图像与可见光图像低频分量进行差分运算，获得可见光图像高频分量图；用滤波前的红外图像与红外图像低频分量进行差分运算，获得红外图像高频分量图；

（c）对可见光图像低频分量图和红外图像低频分量图进行图像拉伸；所述图像拉伸通过双平台直方图均衡算法实现；

（d）对可见光图像高频分量图和拉伸后的可见光图像低频分量图进行线性加权压缩，以及对红外图像高频分量图和拉伸后的红外图像低频分量图进行线性加权压缩，分别获得增强后的可见光图像和红外图像。