[发明专利]一种应用于多镜头组合式全景相机的SLAM方法

说明书

本发明提出一种应用于多镜头组合式全景相机的SLAM方法，很好地实现了车载多镜头组合式全景相机的自动定位与地图构建功能，达到0.1m级的高定位精度而无需借助昂贵的GPS/IMU组合导航系统。本发明方法先对多镜头组合设备进行相机检校，然后建立一个并行的三线程，其中位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。

技术领域

本发明涉及一种应用于多镜头组合式全景相机的SLAM方法，属于摄影测量与遥感，计算机视觉，机器人等领域。

背景技术

随着传感器、自动化和平台技术的发展，利用平台上安置的光学或距离传感器，同时实现自我定位与环境感知的智能系统成为摄影测量、计算机视觉和机器人学的新型研究方向；并在移动测图系统、无人驾驶汽车、火星和月球的深空探测、无人机侦察、室内导航等领域发挥着关键的作用。若以光学传感器为主要信息获取源，这种系统通常称为基于视觉的自动定位与地图构建(Simultaneous Localization And Mapping,SLAM)。主流的视觉SLAM系统有两种分类模式。一类按照所采用的传感器划分。包括单目SLAM(Mono-SLAM)、双目SLAM(Stereo-SLAM)和4D相机SLAM(RGBD-SLAM)。另一类按照所采用的方法划分，主流是基于点特征的SLAM(feature-based SLAM)和基于图像自身的SLAM(Direct SLAM)。成熟的、具代表性的SLAM系统如：基于特征点的ORB-SLAM，直接法的LSD-SLAM，将特征点法与直接法混用的SVO、SVO2.0以及RBG-D SLAM的代表作RTAB-MAP，等等。这些主流SLAM架构采用传统框幅式的相机或摄像机作为视觉信息获取装备。单目SLAM视场狭窄，尺度估计受累积误差的影响，较依赖于闭环条件。双目SLAM虽然克服了尺度漂移，但是视差狭窄依然没有改变。若局部成像区域信息较少(即提取其他特征较少)，或者出现较大的视角变化，则会引起跟踪频繁丢失。这也是SLAM技术尚未广泛应用于测绘行业的地面移动测图系统(mobilemapping system,MMS)的关键因素。大视场成像设备，如鱼眼镜头和全景镜头，理论上能够克服视场狭窄的问题。全景视觉成像具有360°全视角成像的优势，已经在测绘、机器人、计算机视觉等相关领域中逐步得到应用，如用于城市测图、视频监控、交通监督、虚拟现实、机器人导航、场景重建等。装载于移动测图系统或普通汽车上的全景成像装置通常只被用于街景收集，如谷歌和百度的街景图像，无法实现量测功能；基于全景视觉的几何定位和SLAM也有过很少量的研究，然而，目前尚缺少一套完整的、自动化的解决方案。

发明内容

本发明的目的就在于克服上述现有技术的不足而提供一种适用于多镜头组合式全景相机的SLAM系统，重点考虑将SLAM技术应用于多镜头组合设备所拍摄的全景影像序列，使其能够完成对全景相机在运动过程中拍摄图像时的定位与稀疏地图的构建。

实现本发明目的采用的技术方案是：事先对多镜头组合设备进行相机检校，然后建立一个三线程并行运行的系统，三线程分别负责全景图像位姿跟踪，稀疏地图构建以及闭环纠正。位姿跟踪线程主要完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；稀疏地图构建线程主要负责根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；闭环纠正线程主要负责探测相机的运动是否回到了之前经过的位置(即闭环)，加入闭环约束进行位姿的改正以及全局位姿及地图点优化(即全局光束法平差)。

以上三个并行线程的具体实现步骤如下，

线程1具体包括如下步骤，

步骤1.1，采用三帧图像进行初始化，获取初始位姿及初始地图点，同时建立局部地图与全局地图；