[发明专利]一种基于仿生双眼的大视场图像拼接系统和方法

说明书

技术领域

本发明公开了一种基于仿生双眼的大视场图像拼接系统和方法，涉及机器人视觉，特征点提取技术和CUDA并行计算领域。

背景技术

机器人视觉是感知周围环境最高效的手段，对移动机器人导航起着至关重要的作用。实时的、大视野的图像信息对于地面移动机器人的导航操作具有非常重要的意义。

图像拼接是指将多幅来自同一场景的具有一定重叠区域的小尺寸图像合成为一幅大尺寸，具有大视角的图像。图像拼接可以突破镜头拍摄角度的局限性，扩大视场，被广泛应用于遥感图像处理、医学图像分析、绘图学、计算机视觉、视频监控、虚拟现实，超分辨率重构和机器人导航等领域。目前由于图像拼接过程中涉及的数据量大、计算密集，因此许多串行处理方法在实际应用中都难以满足实时性要求。

目前，在机载平台上直接运算复杂的图像算法，此时机载平台需要搭载专属的FPGA或DSP硬件，并将算法固化在相关的硬件上，并进行相关的优化，降低经济性；或移动机器人机载平台的图像伺服系统中，则将图像信息通过网络传递到上位服务器机器进行处理，对处理的上位服务器要求高。

机载平台上作图像处理的分辨率大多数是640×480，对于高清图像无法进行实时处理。由于计算量大，数据多，在移动机器人机载平台上搭载的工业控制计算机无法满足直接作图像拼接的计算。图像拼接过程主要分为图像获取、图像匹配和图像融合3个步骤，其中最核心的技术就是图像匹配。图像匹配的关键是精确确定两幅图像中重叠部分的位置，从而得到两张图像的变换关系。图像拼接有基于特征点的图像匹配算法，该过程特征点的提取计算复杂度较大，可采用GPU并行化加速。

2010年3月，Willow Garage（http://www.willowgarage.com/）公司发布机器人操作系统Robot Operating System（ROS）。 机器人操作系统ROS提供各种库和工具帮助软件开发者开发机器人应用，包括硬件抽象层，硬件驱动，虚拟化工具，消息传递，软件包管理。同时，嵌入式硬件方案提供商SECO(稀科)公司联合英伟达（NVIDIA）公司发布一款面向研究人员的嵌入式GPGPU平台解决方案产品CARMA DevKit，利用显卡并行计算技术提高运算的速度，组建成移动式高性能计算平台。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于仿生双眼的大视场图像拼接系统和方法，解决了现有高清实时图像拼接处理速度慢或需要专属硬件设备的问题。

为了达到上述目的，本发明的构思是：首先由图像输入系统采集高清的图像；然后将图像传送到SECO CARMA DevKit嵌入式CUDA软硬件平台对实时采集的高清图像进行实时特征点检测，然后将计算结果返回给上位机进行图像拼接的最后处理。

本发明的基于仿生双眼的大视场图像拼接系统包括：

（1）高清图像输入，ARTAM-1400MI-USB3高清摄像机通过USB接口传入到处理器上；

（2）快速图像处理系统：通过SECO CARMA DevKit嵌入式CUDA软硬件平台并行计算技术，对实时采集的高清图像进行实时图像特这点检测。

（3）上位机订阅SECO CARMA DevKit嵌入式CUDA软硬件并行计算平台的计算结果，进行最后的图像匹配和融合。

根据上述发明构思，本发明采用下述技术方案：

一种基于仿生双眼的大视场图像拼接系统，包括所述两台高清摄像机，其特征在于：所述的两台高清摄像机分别连接到对应的图像快速处理器CARMA DevKit；所述的图像快速处理器CARMA DevKit通过网络连接到一个交换机；所述的交换机连接到一个主控机和一个DSP处理器。

一种基于仿生双眼的大视场图像拼接方法，采用上述的基于仿生双眼的大视场图像拼接系统进行图像拼接，其特征在于，拼接步骤如下：

步骤①：将主控机设定为机器人操作系统ROS的主机MASTER，由CARMA DevKit创建图像获取节点，由高清摄像机获取高清图像通过USB接口实时传入图像快速处理器CARMA DevKit；

步骤②：由CARMA DevKit利用机器人操作系统ROS分布式计算特点创建SURF算法节点对所获图像进行特征点提取；

步骤③：由利用CARMA DevKit的计算节点将特征点描述的数据发布到主控机的匹配节点进行特征点最佳匹配。

步骤④：主控机的匹配节点计算的特征点最佳匹配结果发布到仿射拼接计算节点进行仿射计算后，将左右摄像头的数据拼接为一幅图像。