[发明专利]一种多源视频融合系统

说明书

技术领域

本发明是一种视频融合系统，涉及图像处理领域，视频处理领域还有自动控制领域。具体涉及一种多源视频融合的方法和系统。

背景技术

由于传感器成像机理和自身特性等原因，单一的图像传感器一般不能从场景中提取足够多的信息。多源图像融合研究的是如何将不同类型传感器获取的图像数据,采用一定算法将其优势或互补性信息有机结合起来产生新图像的技术。多源视频融合是在图像融合的基础上发展起来的，它将不同传感器捕获的视频帧结合起来，在相同时间和背景下采用图像融合的方式不断进行融合，并最终将融合后的图像帧以视频的形式显示出来，即为视频融合的过程。

多源图像融合作为一种处理多传感器图像的有效新技术愈来愈受到重视，其应用范围已遍及医学、遥感、军事、安全监控等各个领域。多源视频融合也同样在以上领域发挥作用，多源视频融合图像的动态显示让人能更直观感知画面信息，并能快速发现背景中目标的变化，比静态图像显示的信息要丰富得多，因此也更具有优势。

目前在图像融合技术中最常见的是红外与可见光图像融合。可见光图像是光感图像，目前市面上销售的摄像机多属于此类，在较好的照度下能反映场景的细节，但照度不佳时的见光图像效果较差；红外图像是热感图像，成像为灰度图像，灰度值由摄像目标与背景的温度差决定。因此，在光线较暗或有少量烟、云、雾环境中，由于可见光图像质量较差，红外图像中的目标依然清晰，因此将二者成像结合起来形成红外与可见光融合图像，就可以适应较恶劣的天气情况，如果运用在军事上就有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。

发明内容

本发明提出一种多源视频融合的方法，并构建相应装置，可以很方便的实现多源视频的融合。提出一种多摄像头通过线槽经USB多接口转换与电脑相连接的方法，解决了耗费电脑多个USB接口的问题。提出一种电脑USB直接控制云台和摄像头转动的方法，解决现有视频融合系统需要采集卡软件控制的弊端。本发明利用计算机强大的计算能力对摄像头、云台等设备进行控制，同时通过编写操作简单、功能丰富的控制界面实现人机交互。

本发明给出了一种多源视频融合方法。其特征在于将多个视频源通过线槽经USB多接口转换器与电脑相连接，减少了电脑USB接口的过多消耗，并且减少中间环节，通过电脑的快速处理，加快了视频融合和输出显示的时间。将多个视频源摄像头采用刚性连接，水平固定在云台上，尽量使目标到各摄像头的高低角和俯仰角一致。云台控制的方式采用串口/USB转换器连接到电脑上，使得电脑输出数据控制结构简单、实现方便。

系统交互界面采用VC++6.0编写，在VC++中安装和配置OpenCV工具，多源摄像头的图像采集、融合和显示均由OpenCV编写的代码进行控制，这样写代码时就可以轻松调用OpenCV的库函数来处理采集的图像帧。

整个系统的视频融合处理步骤为：

S1.同时采集一帧各视频源图像；

S2.计算图像配准参数；

S3.对输入的视频帧借助在S2获取的配准参数采用透射变换方法进行逐帧配准，逐帧融合，并保存融合后的视频帧；

S4.将保存的融合图像帧以动态视频的方式在交互界面显示出来。

在本发明中，图像的配准技术十分键。本发明中图像配准采用一种图像灰度预处理、特征块提取与匹配、采用透射模型计算配准参数的方法来求解配准所需参数。该方法配准精度很高，去噪效果较好。

S2具体步骤为：

S20.对采集到的两帧图像分别进行灰度变换预处理，对视频源1图像进行高斯高通滤波，对视频源2图像进行小波去噪，滤去可见光摄像头产生的随机噪声。

S21.采用一种特征块标记的算法，标记视频源1获取图像A中的一个3×3的特征块中心坐标A(x,y)，这里选择特别突出的特征块进行手动标记，电脑通过相关匹配法记录下特征块在视频源2获取的图像B中R值最大的一点的坐标B(x',y'),然后重复该过程四次，直到在B图中找到四个匹配点。其中R值通过以下公式获得：

其中I_Amax(x,y)表示图像A中灰度值最大的点，I_Bmax(x,y)表示图像A中灰度值最大的点。

S22.通过匹配成功的特征点，在透射模型下求出图像配准的参数。

本发明采用一种用VisualC++编写的融合控制交互界面控制融合的过程，包括融合起始时间、融合图像每秒融合的帧数、融合图像保存的位置，融合方法选择为基于小波变换的图像融合。