[发明专利]一种用于视觉分层定位的视觉地图构建方法

说明书

本发明公开了一种用于视觉分层定位的视觉地图构建方法，包括以下步骤：1）按顺序获取双目摄像头采集的双目图像帧数据并确定运动轨迹；2）对图像帧分别提取NetVLAD全局描述子、SuperPoint特征点和局部描述子；3）找出每一帧图像特征点的匹配关键点并增量式恢复出每个特征点的3D位置；4）根据每一帧的3D特征点的2D观测确定该帧的最佳共视关键帧；5）生成最终用于视觉分层定位的视觉地图信息。本发明的视觉地图构建方法结合深度学习特征，增强了视觉地图的描述性，并且生成的用于视觉定位的地图包含多层次描述信息，可用于坐标系一致的视觉全局鲁棒定位。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种用于视觉分层定位的视觉地图构建方法。

背景技术

近年来，随着计算机视觉的不断发展，SLAM技术被广泛的用于各个领域，虚拟现实、增强现实、机器人、无人机、无人驾驶等等。随着计算机硬件的不断发展，视觉信息的处理的实时化也变得可能，利用视觉信息进行实时的定位和地图构建在提高信息获取量的同时也极大的降低了智能机器人产品的价格。

但大多数视觉SLAM系统侧重点关注于在线的定位估计，不具备在全局坐标系下的定位功能，且大多数SLAM系统的输出不包含视觉地图的表示形式。传统方法的定位基于词袋模型和传统特征点匹配，其适应环境能力有限，定位成功率不高。

发明内容

有鉴于此，本发明提供了一种用于视觉分层定位的视觉地图构建方法，结合深度学习领域知识，结合视觉地图的构建方法和表达形式，可以构建全局一致地图并用于基于视觉的分层全局一致定位。

本发明采用如下技术方案：一种用于视觉分层定位的视觉地图构建方法，包括以下步骤：

（1）按顺序获取双目摄像头采集的双目图像帧并记录双目摄像头的运动轨迹，得到包含运动轨迹的双目图像序列,其中，表示第帧对应的左帧图像，表示第帧对应的右帧图像，为双目摄像头的外参，为第帧左摄像头相对于世界坐标系的位姿，N为双目图像帧数；将第一帧作为关键帧，对于所述双目图像序列，选取后续关键帧，组成关键帧序列,选自双目图像帧数N；

（2）对关键帧分别提取NetVLAD全局描述子、SuperPoint特征点和对应的局部描述子，并根据SuperPoint特征点的响应值，将响应值由高到低排序，保留前2000个特征点和对应的局部描述子，对于第个关键帧，得到两个三元组描述信息；所述NetVLAD全局描述子为维度的特征向量，所述局部描述子为维度的向量；

（3）找出关键帧SuperPoint特征点的匹配关键点并增量式恢复出每个SuperPoint特征点的3D位置；

（4）遍历步骤（3）中的每一个，统计能观测到3D位置点的所有关键帧并按降序排序，取前5个关键帧做为所述关键帧的最佳共视关键帧；最后将关键帧序列和每个SuperPoint特征点对应的3D位置的集合作为视觉地图信息。

进一步地，后续关键帧的选择需要满足以下条件：相邻左帧图像或右帧图像的欧式距离大于0.3米，且相邻左帧图像或右帧图像的旋转角度大于3°。

进一步地，步骤（3）包括如下子步骤：

（3.1）对于某一三元组描述信息中的SuperPoint特征点，选出可以同时观测到SuperPoint特征点的候选帧集合，其中A选自关键帧，满足：候选帧集合C中的关键帧的姿态与的运动平移距离小于10m、旋转角度小于45°；

（3.2）遍历候选帧集合C中的每一帧，对中的每一个特征点对应的局部描述子，计算与的欧式距离相似度s并得到最接近的两个局部描述子和,满足,则局部描述子对应的与SuperPoint特征点为相互匹配点，遍历结束后得到SuperPoint特征点在候选帧集合C中的所有匹配点集合，SuperPoint特征点对应的3D位置，其关联匹配信息为，根据双目摄像头内参K,建立约束方程求解，所述约束方程为：