[发明专利]一种基于激光雷达辅助的视觉建图方法

权利要求书

1.一种基于激光雷达辅助的视觉建图方法，其特征在于，包括以下步骤：

步骤1）收集移动设备运动过程中的激光雷达数据、图像数据、惯性传感器数据和里程计数据；

步骤2）采用激光同步定位与建图方法遍历步骤1）中的整个数据流；

步骤3）根据激光同步定位与建图方法遍历整个数据流后得到的位置信息，插值估计得到图像位置信息，并根据图像位置信息构建高维索引树形数据结构；

步骤4）对步骤1）中整个数据流的图像数据进行逐帧遍历，提取深度学习的特征信息；

步骤5）再次对步骤1）中整个数据流的图像数据进行逐帧遍历，利用高维索引树形数据结构搜索获取当前帧邻近的图像帧集，然后对图像帧集中的图像帧两两进行特征匹配， 并通过增量三角化生成 3D 地图点。

2.根据权利要求1所述的基于激光雷达辅助的视觉建图方法，其特征在于，步骤2）中的激光同步定位与建图方法包括以下步骤：

步骤2.1）根据惯性传感器数据和里程计数据融合积分得到当前时刻移动设备的惯导位姿，将惯导位姿作为初值，根据获取的第一帧激光雷达数据构建局部的占据栅格地图；

步骤2.2）将运动跟踪线程中当前帧激光雷达数据与上一帧激光雷达数据进行匹配，计算得到优化的帧间位姿运动矩阵；

步骤2.3）基于上一帧优化得到的移动设备的惯导位姿，以及融合上一帧到当前帧的移动设备的惯导位姿，得到当前帧的位姿先验，再将当前帧激光雷达数据与占据栅格地图进行匹配，对优化的帧间位姿运动矩阵进行调整，得到精确的当前帧位姿；

步骤2.4）根据当前帧和当前关键帧之间的距离更新局部地图或重新构建局部地图，根据新插入的关键帧构建的运动约束，增量式优化更新关键帧队列中各个关键帧的位姿，得到更新后的全局地图；

步骤2.5）将当前局部地图与全局地图匹配进行回环检测，并采用最近点迭代算法或正态分布变换算法获取当前局部地图到全局地图的位姿变换矩阵，调整与当前子图相连的若干子图的位姿信息。

3.根据权利要求2所述的基于激光雷达辅助的视觉建图方法，其特征在于，步骤2.4）中，判断当前帧位姿和当前关键帧的位姿变换与预设阈值的大小，若当前帧位姿和当前关键帧的位姿变换小于预设阈值，则根据当前帧的激光雷达数据更新局部地图；若当前帧位姿和当前关键帧的位姿变换大于预设阈值，则根据当前帧的激光雷达数据更新关键帧队列，并重新构建局部地图。

4.根据权利要求3所述的基于激光雷达辅助的视觉建图方法，其特征在于，步骤2.4）中，根据新插入的关键帧和关键帧队列构建共视帧约束，然后采用增量式优化位姿因子图更新关键帧队列位姿，当检测到闭环时，构建闭环帧约束，并通过增量式优化更新关键帧队列中位姿，实现全局地图的更新。

5.根据权利要求2所述的基于激光雷达辅助的视觉建图方法，其特征在于，步骤2）中的局部地图为过去 30 秒内创建的地图。

6.根据权利要求1所述的基于激光雷达辅助的视觉建图方法，其特征在于，步骤5）中包括以下步骤：

步骤5.1）利用当前帧的位置信息，在高维索引树形数据结构中用最近邻方法按照欧式距离搜索满足小于给定阈值的图像帧集；

步骤5.2）对图像帧集中的图像两两进行深度学习特征的匹配；

步骤5.3）利用当前帧对应的图像帧集中的所有图像，两两三角化生成 3D地图点；并利用已有的匹配关系，剔除匹配出错的 3D 地图点，融合冗余的3D 地图点，同时进行局部优化；

步骤5.4）利用关键帧的位置信息和特征匹配信息，逐帧三角化依次生成 3D地图点。

7.根据权利要求6所述的基于激光雷达辅助的视觉建图方法，其特征在于，步骤5.2）中，对图像帧集中的图像两两进行深度学习特征的匹配包括：点特征的匹配、线特征的匹配、面特征的匹配、物体特征的匹配、或语义分割特征的匹配。