[发明专利]一种基于多IMU的点线融合定位方法及系统

说明书

本发明提供一种基于多IMU的点线融合定位方法及系统，方法包括：通过相机和4个相同型号的IMU分别进行图像采集和惯性数据采集；将步骤S1中相机获取到的图像帧进行特征提取；将步骤S1中得到的四个IMU的多组数据分别进行预积分，计算出两帧图像对应的IMU的位置和速度；视觉和IMU初始化；将步骤S4中多个IMU(A、B、C、D)初始化后得到的测量值概率的映射到虚拟IMU(E)上；将线重投影误差建模为线段两端点到投影线的距离，然后最小化点线的重投影误差和IMU残差，获得精确的位姿估计；将本文设计的算法在公共数据集上以及采集的数据集上进行测试。本发明解决了定位及融合视觉精度低、低纹理场景处理效果差以及线段提取质量差的技术问题。

技术领域

本发明涉及SLAM技术中多传感器融合定位领域，具体涉及一种基于多IMU的点线融合定位方法及系统。

背景技术

SLAM(Simultaneous Localization and Mapping同步定位和地图构建)技术自提出以来到现在已经有十几年的发展。从当初的基于单特征的纯视觉SLAM方法到现在的基于多传感器信息融合以及基于多特征融合的SLAM方法，SLAM技术逐渐发展成熟起来。SLAM技术主要用于机器人、无人机以及无人车的导航和定位，是人工智能邻域的重要技术之一。目前主流的视觉SLAM技术主要有基于间接法(点特征)的ORB_SLAM和基于直接法的LSD-SLAM、SVO和DSO。其中ORB_SLAM提供了单目、双目和RGB-D三种相机类型接口，包含了跟踪、局部建图和回环检测三大线程，可以保证地图与运动轨迹的全局一致性，是目前视觉SLAM算法中较为完备和成熟的框架，缺点是使用场景有限，定位鲁棒性较差。基于直接法的LSD-SLAM是对图像灰度值进行位姿估计，是直接对图像像素进行操作，而不再对图像进行特征点的提取与匹配，可在CPU上构建半稠密地图，适用于大规模的场景，缺点是对环境的光照变化鲁棒性不高。SVO和DSO都是基于稀疏直接法的SLAM方案，不同的是SVO方案使用混合模型，将直接法和间接法相结合实现位姿估计，而DSO方案没有回环检测功能，不可避免会产生闭环误差。

随着场景的复杂化以及对精度和实时性上的要求不断提升，纯视觉的SLAM技术出现瓶颈。因此基于多传感器和多特征的SLAM技术快速发展起来。目前使用较多的传感器有相机(单、双目、RGB-D、事件相机)、IMU(惯性测量单元)、轮速计和激光雷达等。场景特征方面除了点特征外还增加了线特征、面特征以及点线融合的特征方案。目前基于优化的视觉和IMU数据融合的VIO(Visual Inertial Odometry)已经有比较成熟的框架，例如香港科技大学的单目VINS-mono方案和ORB_SLAM3中的单目/IMU、双目/IMU方案等。除了这些VIO算法框架外，还有基于多特征融合的SLAM算法，例如PL-SLAM、PL-VINS等等都是点线融合方法的代表。

以往的方案中大多只是应用单个IMU和点特征的视觉融合来估计机器人的位姿。尽管这样的方案可以为不同的使用案例提供可接受的准确性和鲁棒性，但是通过多个IMU和点线特征融合的视觉融合方案会进一步提高整体性能，使算法在低纹理环境中更具鲁棒性。

与本发明相关的现有技术一——基于点线特征融合的PL-SLAM

现有技术一的技术方案：

为了解决低纹理区域中传统特征点法鲁棒性差的问题，2019年Ruben在PL-StVO的基础上更新了PL-SLAM。该算法的点特征提取采用的是ORB特征，线特征提取部分采用的是LSD算法提取特征，采用高斯-牛顿法最小化点和线特征的重投影误差，并且通过统计误差来调整点线的权重。该算法在之前的基础上实现了较为完整的双目视觉SLAM系统。

现有技术一的缺点：

该方法没有对特征匹配精度进行分析，用同一种误差模型对两种特征进行误差优化问题的构建，导致不同特征在位姿估计中效果一致。

此方案依然是纯视觉的SLAM方案，在定位精度上还有上升的空间。