[发明专利]基于仿生双眼的大视场图像拼接装置及方法

说明书

技术领域

本发明公开了一种基于仿生双眼的大视场图像拼接装置及方法，属于计算机视觉领域，涉及双目图像的匹配和拼接。 

 

背景技术

目前，单个摄像机的图像处理技术已经日趋完善，然而单个摄像头有很多的缺点，比如视场较窄、无法获得更多的深度信息。在视频监控等领域经常会运用多个摄像机或者一个摄像机多个位置角度拍摄来扩大视场。通过对采集到的图像进行匹配和拼接，可以获得更多的图像信息。

图像匹配和图像融合是图像拼接的两个关键技术。图像匹配是图像融合的基础，而且图像匹配算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像匹配技术的创新。

机载平台上作图像处理的分辨率一般是640×480，对于高清图像无法进行实时处理。而且由于计算量大，数据较多，在仿生双眼云台上的工业计算机无法满足对高清图像进行处理、匹配和融合的工作。

 

发明内容

本发明的目的在于克服现有技术的局限，提供一种基于仿生双眼的大视场图像拼接的装置及方法，解决目前的仿生双眼的视场的局限。

为了达到上述目的，本发明的构思是：由两台高清摄像头采集图像，把各自采集的图像传入相应的图像快速处理模块CARMA DevKit，经过快速图像处理，把传出图像通过网络送入交换机内，最终通过交换机把图像送入主控机中，在主控机中对图像进行图像匹配融合。

本发明的基于仿生双眼的大视场图像拼接装置及方法主要包括：

（1）高清图像输入，两台EVC-HD12U USB高清摄像机通过USB接口分别传入到相应的处理器上；

（2）快速图像处理系统：通过SECO CARMA DevKit嵌入式CUDA软硬件平台并行计算技术，对实时采集的高清图像进行实时的图像处理，提取SIFT描述子，同时将SIFT描述子输入交换机。

（3）计算机通过交换机获得采集的实时画面和SIFT描述子，利用GPU对特征点进行最佳匹配、射影变换，拼缝选择和图像拼接融合。

根据上述发明构思，本发明采用下述技术方案：

一种基于仿生双眼的大视场图像拼接方法，包括两台高清摄像机，其特征在于：所述高清摄像机固定移动平台上，而其输出分别各连接到一个机载快速处理模块SECO CARMA DevKit；所述两个机载快速处理模块SECO CARMA DevKit的输出连接一个交换机上，交换机连接到主控机。所述两台高清摄像机摄入高清图像后，通过USB借口分别将图像传入到机载快速处理模块SECO CARMA DevKit对实时采集的高清图像图像处理，并提取SIFT描述子；通过交换机，主控机获得实时图像和SIFT描述子，通过对描述点匹配和变换，最终实现对图像的拼接融合。

一种基于仿生双眼的大视场图像拼接方法，采用上述的基于仿生双眼大视场图像拼接装置进行图像拼接，其特征在于，拼接步骤如下：

步骤①图像采集：由高清摄像机（1）（2）获取高清图像通过USB接口实时传入图像快速处理模块CARMA DevKit（3）（4）；

步骤②图像与处理：由CARMA DevKit（3）（4）利用SIFT算法对所获图像的大致重叠区域进行均匀的特征点提取；

步骤③图像拼接：把快速处理后的图像传入交换机，并通过交换机传入主控机。由主控机利用GPU进行特征点最佳匹配、射影变换，拼缝选择和图像拼接融合。

所述步骤②图像预处理的具体步骤如下：

A、根据事先得知的待拼接图像的重叠区域范围，在左图像I_L 的重叠区域内均匀选取m*n个待匹配的特征点P_i (i=1,2，…，m*n)；

B、通过区域相似性度量和自适应匹配搜索区域在右图像I_R中进行最佳匹配搜索，得到最佳匹配点 (i=1,2，…，m*n)。

区域相似性度量是以待匹配图像I_L中待匹配点P_i为中心像素来创建一个匹配窗口W，用窗口内图像的灰度信息来表征该像素的特征。在图像I_R搜索区域SR中取出一个与W同样大小的像素邻域，根据相似性度量准则计算两个窗口之间的相似程度。

对于匹配窗口的方向选取，传统的矩形窗口下的匹配算法主要是针对经过极线校正的立体图像进行匹配，不具有旋转不变性。而对于图像拼接而言，待拼接图像对应点之间可能存在着旋转变换，为解决这一问题，需要计算特征点的梯度。