[发明专利]多摄像机即时定位与地图构建的三角化方法及其运动体

说明书

本发明提供一种用于多摄像机即时定位与地图构建的三角化方法，包括如下步骤：将由k个摄像机中的同一摄像机和不同摄像机在相邻关键帧的拍摄结果作为n组摄像机组合，其中k和n为大于1的整数；通过对所述拍摄结果进行图像处理，得到用于预测各组摄像机组合的三角化成功率的评测结果；和基于各组摄像机组合的评测结果，选取m组摄像机组合进行三角化，其中，k≤m＜n。本发明还提供这样的多摄像机即时定位与地图构建方法及采用上述方法的运动体。

技术领域

本发明总体涉及用于多摄像机即时定位与地图构建技术，具体地，涉及用于多摄像机即时定位与地图构建的三角化方法。

背景技术

即时定位与地图构建(Simultaneous Localization And Mapping，下文简称为SLAM)指的是运动物体在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。换句话说，即时定位与地图构建的技术问题可以描述为：如何使运动物体在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。更具体地，SLAM是一种通过实时跟踪运动物体运动并在此过程中同时建立周围环境地图以达到定位导航等目标的技术。SLAM通过使用多种传感器如激光雷达、超声波传感器、GPS、惯性测量单元IMU以及摄像机等设备跟踪设备当前的位姿并利用采集到的激光雷达或者图像重构周围的环境以达到定位和地图构建的目标。SLAM以其实用性在无人机导航、自动驾驶等众多领域获得了广泛应用。其中摄像机以其低廉的成本获得了众多研究者和企业开发人员的青睐，而以摄像机为主要传感器的即时定位与地图构建技术——即视觉即时定位与地图构建技术(Visual即时定位与地图构建)也获得了前所未有的发展。

视觉SLAM根据所采用的摄像机的数量可以分为单目SLAM(单个摄像机)、双目SLAM(两个摄像机)、多摄像机SLAM；同时根据所采用摄像机的种类又可以分为透视摄像机SLAM(perspective camera SLAM)以及采用鱼眼镜头的鱼眼摄像机SLAM(fisheye cameraSLAM)。由于采用多个摄像机可以获取到周围环境中更加丰富的信息，多摄像机SLAM获得了越来越多的关注；同时鱼眼摄像机拥有普通透视摄像机无法相比的大视角，可以看到更宽范围内的信息，因此获得了更多的研究；而多鱼眼摄像机SLAM(multiple fisheye cameraSLAM)也渐渐走进了人们的视野。

围绕SLAM中定位与地图构建的两大目标，现有的视觉SLAM方案，例如ORB SLAM，一般将系统划分为跟踪(tracking)和地图构建(mapping)两个线程。视觉SLAM技术首先通过特征点法等方法跟踪摄像机当前的位姿，在求解到当前摄像机的位姿之后，再通过三角化图像中新匹配的特征点将新的地图点加入到地图中。通过不断重复以上跟踪和地图构建的环节，视觉SLAM就可以成功地跟踪摄像机的运动并同时恢复周围的环境。

整个SLAM过程中，跟踪和地图构建相互依赖，互为支撑。具体而言，成功的跟踪能够保证地图构建过程中插入地图点的正确性；而在成功更新地图之后，新获取的图片才能通过与地图匹配获得更准确的位姿。在SLAM算法过程中，跟踪与图片的处理速度直接相关，而地图构建负责处理后端优化等问题则较慢无法实时，现有的SLAM方案通过将跟踪与地图构建分离，由此缓解了系统对于硬实时的需要，也就是说，跟踪线程在前端实时获取并处理获得的图像，地图构建线程则在后端以较慢的速度优化。

然而这种方案只是一种表面上的实时，在摄像机朝向的场景变化不大，可以重复利用的特征点较多的时候，比如前向摄像机，不需要频繁插入关键帧，系统可以稳定工作；如果摄像机朝向的视野变化很快，比如像车辆行进中的左视或者右视摄像机，新的关键帧必须被及时创建，而关键帧的创建依赖于地图构建线程，但如上所述地图构建线程的运行速率较慢，并不能达到实时或者准实时的速率，这就导致跟踪线程要求插入新的关键帧时，地图构建线程仍然在忙于处理上一个关键帧，因此进一步导致关键帧无法插入，进而导致地图无法更新，从而跟踪线程因为没有可以用于更新当前位姿的最新地图而跟踪失败。因此降低地图构建线程的计算量至关重要。