[发明专利]一种应用于多镜头组合式全景相机的SLAM方法

权利要求书

1.一种应用于多镜头组合式全景相机的SLAM方法，其特征在于：首先对多镜头组合设备进行相机检校，然后建立如下三个并行线程：

线程1，全景图像位姿跟踪线程，用于完成系统初始化，全景图像上的特征提取、匹配与投影，位姿求解优化以及关键帧的选取；

线程2，稀疏地图构建线程，用于根据初始位姿与匹配点建立稀疏地图点，对相机位姿与地图点进行局部优化，剔除错误的地图点与冗余的关键帧；

线程3，闭环纠正线程，用于探测相机的运动是否回到了之前经过的位置，即闭环，加入闭环约束进行位姿的改正以及全局位姿及地图点优化，即全局光束法平差；

三个并行线程的具体实现步骤如下，

线程1具体包括如下步骤，

步骤1.1，采用三帧图像进行初始化，获取初始位姿及初始地图点，同时建立局部地图与全局地图；

步骤1.2，采用恒速模型跟踪下一帧地图点，即3D地图点到2D图像的匹配，匹配失败则执行步骤1.3；

步骤1.3，采用视觉词袋的方法进行3D地图点到2D图像的匹配，当匹配点数满足一定条件时执行步骤1.4；

步骤1.4，采用多视匹配获取当前帧位姿初值并用于匹配，当匹配点数满足一定条件时执行步骤1.5；

步骤1.5，当步骤1.2～步骤1.4中的匹配都失败时，进行重定位；

步骤1.6，步骤1.2～步骤1.5中任意一步成功即得到当前帧的位姿的初始值，并利用该值，将局部地图点全部投影至当前帧进行匹配，匹配完成后进行局部光束法平差，统计内点数，若大于内点数阈值a则判定为跟踪成功，若小于内点数阈值a判定为跟踪失败，等待系统传入下一帧，并直接执行步骤1.5；

步骤1.7，正确跟踪当前帧之后，判断当前帧是否作为关键帧；

线程2具体包括如下步骤；

步骤2.1，更新关键帧与地图点的连接关系，找出与其具有一定共视点数的关键帧作为共视关键帧；

步骤2.2，三角化地图点；

步骤2.3，将地图点插入步骤1.1中已构建的局部地图与全局地图；

步骤2.4，调用G2O的库建立优化图，并进行局部光束法平差；

步骤2.5，剔除误匹配点与冗余关键帧；

步骤2.6，再次执行步骤2.4；

步骤2.7，更新关键帧与地图点的连接关系，更新局部地图与全局地图；

线程3具体包括如下步骤，

步骤3.1，计算当前关键帧的BoW向量，用于表示当前帧的场景信息；

步骤3.2，选取与当前关键帧相连性最好的n1个关键帧，计算与他们的BoW相似性；

步骤3.3，选取步骤3.2中所计算的相似性的最小值minScore，设定判别阈值为n2*minScore；

步骤3.4，搜索与当前关键帧及其相连关键帧之外的关键帧，逐一计算BoW相似性，相似性大于阈值的设为第一候选关键帧；

步骤3.5，逐一计算当前帧与第一候选关键帧相连性最好的n3个关键帧的相似性，累加相似性计算累计得分AccumScore，将n4*AccumScore作为阈值；

步骤3.6，选取累计得分大于阈值的关键帧作为第二候选关键帧；

步骤3.7，连续性检验：将第二候选关键帧及其相连关键帧设为候选组，认为孤立的候选组具有很强的不确定性，因此检测候选组的连续性，若有n5个及以上候选组相连且与当前帧的相连关键帧同样构成候选关系，则认为此候选组通过连续性检验，否则删除该候选组；

步骤3.8，通过连续性检验的候选组中匹配点数最多的帧即视为闭环关键帧；

步骤3.9，依次与当前关键帧使用BoW搜索匹配特征点，若匹配点数小于n6则剔除此闭环关键帧，继续下一帧的匹配；匹配成功后，计算闭环帧到当前帧的相似变换群，即sim(3)变换，得到了闭环关键帧与当前帧的转换关系S，通过转化关系再次搜索匹配点并使用局部光束法平差优化S。