[发明专利]用于执行同步定位与地图构建的设备和方法

说明书

本发明实施例涉及同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)的技术领域。特别地，提供了一种用于执行SLAM的设备和方法。所述设备包括至少一个处理器，用于执行所述SLAM，具体用于：在第一处理阶段，对接收的数据序列进行预处理，以获得帧序列，其中，所述接收的数据序列包括摄像机记录的多个图像和来自多个传感器的传感器读数。所述帧序列的每个帧包括与确定的时间实例处的图像之一相关的视觉特征集和该时间实例的传感器读数。进一步地，在第二处理阶段，基于所述帧序列的每个帧中包括的所述视觉特征集和所述传感器读数，按顺序处理该帧，以生成序列映射图。最后，在第三处理阶段，将所述序列映射图与至少一个其他图合并，以生成或更新全图。

技术领域

本发明涉及同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)的技术领域。特别地，本发明提供了一种用于执行SLAM的设备和方法。因此，所述设备和方法能够将摄像机图像与多个传感器读数结合以执行所述SLAM。

背景技术

下一代安全和车辆自动化将依赖于精确定位，但基于全球定位系统(GlobalPositioning System，GPS)的定位因GPS信号被频繁阻挡而受到阻碍，即使在正常驾驶情况下也是如此。定位所面临的主要技术问题之一是地图创建，或者称为地图构建。为了成功进行地图构建，需要定位。因此，必须执行所谓的SLAM。

利用立体摄像机的传统SLAM方法包括ORB-SLAM2和立体LSD-SLAM等，分别属于基于特征的方法和直接方法(https://medium.com/@j.zijlmans/lsd-slam-vs-orb-slam2-a-literature-based-comparison-20732df431d)。本发明涉及所述基于特征的方法。

扩展SLAM组合传感器仍然是一个开放性研究课题。例如，第一种手段(R.Mur-Artal和J.D.Tardós，《Visual-Inertial Monocular SLAM With Map Reuse》，IEEERobotics and Automation Letters，第2卷，第2期，第796-803页，2017年4月)将单目ORB-SLAM与惯性测量单元(Inertial Measurement Unit，IMU)相结合。第二种手段(M.Lhuillier，《Incremental Fusion of Structure-from-Motion and GPS UsingConstrained Bundle Adjustments》，IEEE Transactions on Pattern Analysis andMachine Intelligence，第34卷，第12期，第2489-2495页，2012年12月)将类似于ORB-SLAM的光束法平差(bundle adjustment，BA)技术与GPS相结合。

在上述第一种手段中，修改ORB-SLAM架构以在跟踪、局部光束法平差(LocalBundle Adjustment，LBA)和全局光束法平差中包括IMU读数。结果表明，具有已知尺度的单目ORB-SLAM比视觉-惯性单目ORB-SLAM有更好的性能。

在上述第二种手段中，存在两种BA，即标准BA和融合BA。标准BA将3D点特征的重投影误差降到最低，将这种BA的结果用于并入有GPS的融合BA。该手段包括三种提议方法，每种方法都有自己的侧重点。第一种方法是将重投影误差和GPS误差作为平方差之和降到最低，另外两种方法是对重投影误差或GPS误差进行障碍项优化。结果表明，障碍项优化比第一种方法效果好。

然而，到目前为止，尚未解决将多个传感器(例如，GPS和IMU)与SLAM相结合的问题。另外，尚未开发用于SLAM的分布式处理架构。因此，到目前为止，还没有利用所谓的众包算法的优势。

发明内容