[发明专利]三光融合智能成像仪

权利要求书

1.一种三光融合智能成像仪，其特征在于，包括：智能成像系统、成像设备；所述成像设备与智能成像系统进行通信；

所述成像设备用于采集图像数据，所述成像设备包括可见光成像器件、红外光成像器件、紫外光成像器件、超声波测距组件；

所述可见光成像器件用于采集利用可见光获得的图像数据；所述红外光成像器件用于采集利用红外光获得的图像数据；所述紫外光成像器件用于采集利用紫外光获得的图像数据；所述超声波测距组件用于测量被观测目标到成像设备的距离；

所述智能成像系统用于将成像设备采集到的三路波段图像数据进行多种方式融合，并在各种融合方式之间切换显示；所述智能成像系统包括后端处理系统、触摸屏控制单元、WiFi单元；

所述后端处理系统用于对成像设备采集到的所有图像视频数据和智能成像系统中的控制信号、通信数据及触摸屏进行集总以及数据调度；

所述后端处理系统包括FPGA芯片、ARM芯片、存储单元；所述FPGA芯片用于对采集到的每路波段图像数据进行预处理，首先依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令三路波段图像数据可以逐像素点对齐，并且共同输出相同的场景信息；

所述ARM芯片用于采用数据流总线调度架构对校正后的每路波段图像视频流进行异步隔离，将每路波段图像视频流各自的时钟域统一成ARM芯片内部的相同时钟域，再利用融合算法将待融合的目标图像放在流水线架构上，依次对三路波段视频图像逐帧进行细节层提取及采样，进行融合处理；

所述存储单元用于将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从存储单元中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线；

具体地，利用存储单元内的DDR存储芯片的内存颗粒将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从DDR存储芯片中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线，在利用融合算法进行图像数据的融合；

融合算法采用改进的拉普拉斯金字塔作为分层规则，将待融合的目标图像放在流水线架构上，依次对三路波段视频图像数据逐帧进行细节层提取及采样，改进的拉普拉斯金字塔的分层结构共分为三层，每层的融合策略为将三路波段视频图像数据逐像素点进行绝对值求解比较，选出细节最强的灰度值作为融合结果并按照逆金字塔方式进行插值重建过程，直到从金字塔塔尖层恢复回塔底层时，即完成了整个算法的融合过程；

其中，融合算法的融合策略至少包括：可见光融合策略、红外光融合策略、紫外光融合策略、可见光与红外光融合策略、可见光与紫外光融合策略、红外光与紫外光融合策略、可见光与红外光和紫外光的三光融合策略；

所述触摸屏控制单元用于通过触摸屏显示融合处理的图像视频数据，以及所有的人机反馈信息；

其中，触摸屏显示根据融合算法至少显示：可见光图像数据、红外光图像数据、紫外光图像数据、可见光与红外光融合后的图像数据、可见光与紫外光融合的图像数据、红外光与紫外光融合的图像数据、可见光与红外光和紫外光的三光融合图像数据；

所述WiFi单元用于实现远程传输控制功能；

所述三光融合智能成像仪的智能成像方法，包括以下步骤：

步骤S1，采集三路波段图像数据；利用可见光成像器件、红外光成像器件、紫外光成像器件对同一被测目标进行图像数据采集，利用超声波测距组件测量被观测目标到成像设备的距离，并将采集到的三路波段图像数据以及测量距离传输给FPGA芯片；

步骤S2，预处理；FPGA芯片依次对实时采集到的每路波段图像数据流进行场景配准和几何畸变校正处理，令三路波段图像数据可以逐像素点对齐，并且共同输出相同的场景信息；

步骤S3，融合三路波段图像数据；校正后的每路波段图像数据被送至ARM芯片中，ARM芯片采用数据流总线调度架构，当三路波段图像数据送入时，由ARM芯片内部的fifo对输入的波段图像数据进行异步隔离，将每路波段图像数据各自的时钟域统一成ARM芯片内部的相同时钟域，继而利用存储单元内的DDR存储芯片的内存颗粒将视频数据逐帧高速的写入其中进行缓存以供其他模块访问，在输出时同样先将数据从DDR存储芯片中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线，在利用融合算法进行图像数据的融合；

步骤S4，显示过程；融合后的数据经触摸屏进行显示，有助于操作人员观察到被测目标中的各种波段目标特征；

步骤S5，ARM芯片通过接口与上位机进行通讯，由上位机对智能成像系统和成像设备进行远程数据互通和固件更新。