[发明专利]一种基于深度学习的视觉SLAM前端位姿估计方法

说明书

本发明提供了一种基于深度学习的视觉SLAM前端位姿估计方法，实时对帧间的位姿变换进行估算。首先对原始数据集进行数据预处理，然后构建Brox网络对输入的连续帧图像进行稠密光流提取；对提取的光流图分两个网络进行特征提取，对一个分支采用全局信息提取高维特征，在另一个分支对光流图划分成4个子图像，分别下采样获取图像特征；并在最后将两个分支训练得到的特征进行融合，在最后级联全连接网络进行位姿估计获取相邻两帧之间的位姿。本发明解决了单目视觉中真实尺度估计问题，能够使用全局信息和局部信息来提取相机运动和比例信息，提高了机器人的学习能力和智能化水平。

技术领域

本发明涉及视觉导航领域，尤其是一种视觉SLAM前端位姿估计方法。采用端到端的形式在得到连续的图像帧输入后，实时对帧间的位姿变换进行估算，能够为无人机提供基于深度学习的高鲁棒性的视觉SLAM方法。

背景技术

同时定位与地图构建(SLAM)是无人机等智能体携带其传感器在运动过程中实现周围环境地图的建立并且根据建立的环境地图来进行自身的定位的技术。当无人机进入某些特殊环境作业时，易受到环境的干扰使得GPS信号变弱或者完全失效，为了弥补无人机基于GPS导航系统的不足，在GPS不能正常使用的环境中，SLAM也可以作为一种有效的替代方案实现在未知环境中的实时导航。一个完整的SLAM框架由以下4个方面组成:前端跟踪、后端优化、回环检测、地图重建。前端跟踪即视觉里程计，负责初步估计相机帧间位姿及地图点的位置；后端优化负责接收视觉里程计前端测量的位姿信息并计算最大后验概率估计；回环检测负责判断机器人是否回到了原来的位置，并进行回环闭合修正估计误差；地图重建负责根据相机位姿和图像，构建与任务要求相适应的地图。

但自2017年以来，传统的视觉SLAM方案再没有取得实质性的进展，在光照条件恶劣或光照变化较大等不利条件下，算法的鲁棒性不是很高；

随着深度学习在计算机视觉领域的发展，越来越多的视觉问题都通过深度学习的方式取得了更高的突破。深度学习与SLAM的结合在改善了视觉里程计和场景识别等由于手工设计特征而带来的应用局限性，提高了机器人的学习能力和智能化水平。传统SLAM算法中的特征点提取易受场景因素尤其是光照强度和场景内容的影响，而深度网络所提取的特征则具有较好的泛化性能。

视觉位姿估计则是视觉SLAM系统的基础组成模块，实现了该系统的前端－视觉里程计的功能。目前的视觉里程计主要是通过学习法和几何法实现。对于学习法而言，其主要是结合深度学习的优势，使用网络来进行图像识别、检测与分剖，进而估算相机的运动位置和姿态:对于几何法而言，其主要是提取两幅连续图片中的特征(例如ORB特征、S1FT特征等),并在两幅图片中进行匹配和计算的方式实现。

然而，上述两种方法均存在一定的缺陷:对于学习法而言，其普适性差，尤其当测试数据的场景与训练场景变化较大或者运动速度变化时，算法的性能会受到很大的影响:对于几何法而言，首先，其实时性不好，其次，在光线昏暗环境以及照片模糊情况下，其特征检测困难，从而导致位姿跟丢，鲁棒性不好。

发明内容

为了克服现有技术的不足，本发明提供一种基于深度学习的视觉SLAM前端位姿估计方法。解决现有采用学习法实现的视觉位姿估计所存在的普适性差的技术问题，以及采用几何法实现的视觉里程计存在的实时性差、特征检测困难以及鲁棒性不好的技术问题。

本发明解决其技术问题所采用的技术方案的具体步骤如下：

步骤1)：对训练数据集进行数据预处理；

1.1)首先对KITTI数据库中图像进行裁剪，裁剪到尺寸相同；

1.2)然后利用相邻帧之间转换矩阵进行数据集扩充；