[发明专利]一种基于多关键帧的全景惯导SLAM方法

权利要求书

1.一种基于多关键帧的全景惯导SLAM方法，其特征在于：包括如下步骤：

步骤S1、构建多目全景模型，融合惯性单元运动信息，进行全景惯导信息采集与特征提取；针对各帧全景惯导视觉信息，采用AGAST角点改进ORB特征提取，并结合基于任务的BRIEF在线学习算法表述描述子，适应于畸变图像；所述全景惯导信息采集与特征提取包括AGAST-BRIEF特征提取、多目全景视觉投影模型和IMU信息采集；AGAST-BRIEF特征提取采用AGAST角点改进ORB特征提取，避免FAST角点新环境重训练的耗时问题，以一种在线学习算法表述特征，同时兼顾光照不变性和旋转不变；多目全景视觉投影模型由多目全景结构限定多相机间位姿约束并建立Body点，统一多帧同时刻图像的Multi-body帧，建立空间特征点与图像平面的投影关系；IMU信息采集通过软件或硬件实现IMU与多相机帧的时间戳精准对齐，由外参标定方法获取Multi-body与IMU实体的旋转平移矩阵，并进行流型预积分处理；

步骤S2、利用多关键帧全景惯导信息SLAM初始化，提供视觉补偿参数；所述视觉补偿参数包括尺度、重力方向、速度、陀螺仪偏差、加速度计偏差；

步骤S3、结合IMU流型预积分、多关键帧运动模型与多关键帧参考帧模型，进行视觉惯导追踪，估计位姿及重定位监测；

步骤S4、根据视觉惯导因子图采用全景非线性后端优化，分别完成局部集束调整和全局回环检测，更新地图点及多关键帧状态，最终获取完整的多关键帧位姿与环境空间重构地图。

2.根据权利要求1所述的一种基于多关键帧的全景惯导SLAM方法，其特征在于：所述多目全景模型通过N个相机以环视、环视+上视、环视+下视、或环视+上视+下视组合实现；N为大于或等于2的正数。

3.根据权利要求1所述的一种基于多关键帧的全景惯导SLAM方法，其特征在于：所述多关键帧全景惯导SLAM初始化包括多关键帧视觉初始化和融合IMU信息的视觉惯导初始化；多关键帧视觉初始化由各相机分别找到初始点，由视场阈值选择用于平面场景的单应性矩阵模型或用于非平面场景的基础矩阵，进行运动恢复，然后根据相机间外参关系合成Multi-body多关键帧，完成地图初始化并获取多关键帧的初始位姿；融合IMU信息的视觉惯导初始化结合IMU流型预积分数据，通过连续多关键帧间相对方位估计陀螺仪偏差，然后通过奇异值分解多相机和IMU关系式获取重力向量和尺度因子，根据重力大小G建立加速度计偏差估计关系，获取加速度计偏差，并重新修正重力向量和尺度因子，由已知量计算多关键帧速度，并进行全局集束调整，优化视觉补偿参数。

4.根据权利要求1所述的一种基于多关键帧的全景惯导SLAM方法，其特征在于：所述视觉惯导追踪包括多关键帧IMU流型预积分、基于运动模型多关键帧状态估计、基于参考帧模型多关键帧状态估计和重定位；多关键帧IMU流型预积分指利用流型预积分方法将相邻多关键帧间的离散IMU数据整合成单独观测值，从而用于表示运动模型及其它；基于运动模型多关键帧状态估计利用运动模型预测多目相机整体姿态及上帧地图点，根据多目全景视觉投影模型在一定范围内进行投影匹配，并更新多关键帧状态；若匹配点过少，启动基于参考帧模型多关键帧状态估计，与最近关键帧进行匹配；如投影匹配以及与最近关键帧进行匹配不成功，重定位将与所有多关键帧进行匹配以寻找合适位置，在多关键帧数据库中选取若干关键帧候选，寻找足够特征点的关键帧，利用RANSAC算法迭代，并用PNP算法求解位姿。