[发明专利]一种基于深度学习的视觉SLAM定位方法

说明书

本发明公开了一种基于深度学习的视觉SLAM定位方法，基于神经网络，并集数据预处理、视觉里程计、闭环检测、后端优化于一体，实现了机器人的定位。相较于传统的视觉SLAM算法流程而言，本发明基于深度学习鲁棒性能更好，对环境的适应性更强。相较于目前的基于深度学习的方法，本发明利用一个神经网络架构便能够同时实现闭环检测和视觉里程计的功能，并基于该神经网络模型实现了整个视觉SLAM定位方法的流程，避免了不同模块采用不同的网络结构，进一步解决了由于网络结构的复杂性使得整个算法流程更加复杂，实时性能也会受到影响的问题。

技术领域

本发明属于视觉SLAM技术领域，具体涉及一种基于深度学习的视觉SLAM定位方法的设计。

背景技术

随着人工智能以及机器人领域的快速发展，利用深度学习来实现机器人的自主定位导航逐渐成为机器人研究领域重要研究方向。其中，视觉SLAM成为近年来机器人定位导航研究领域中最为活跃的领域之一。它也是整个视觉定位导航里面非常突出的一种技术，它被各种各样的领域所需要，如无人机领域、服务机器人领域、清洁机器人及工业机器人领域等。

一个完整的视觉SLAM系统需要几个关键模块，如图1所示，包括数据处理、视觉里程计、后端优化、地图构建和闭环检测。它的一般实现流程为：首先从传感器中获取图像数据信息；然后通过前端的视觉里程计，估算相邻帧间相机运动的情况；然后利用闭环检测识别机器人是否到达过当前位置；最后通过后端的图优化将视觉里程计与闭环检测的结果进行进一步优化，从而可以借助估计的机器人轨迹与姿态完成地图构建。

根据生成方法的不同，视觉SLAM可以分成：间接方法、直接方法以及在神经网络方面的方法。其中间接方法首先对测量数据进行预处理来产生中间层，通过稀疏的特征点提取和匹配来实现的，也可以采用稠密规则的光流，或者提取直线或曲线特征来实现，然后计算出地图点坐标或光流向量等几何量，因此间接方法优化的是几何误差。直接方法跳过预处理步骤直接使用实际传感器测量值，例如在特定时间内从某个方向接收的光，在被动视觉的情况下，由于相机提供光度测量，因此直接方法优化的是光度误差。传统的视觉SLAM在环境的适应性方面依然存在瓶颈，深度学习有望在这方面发挥较大的作用。

目前，深度学习已经在语义地图、重定位、闭环检测、特征点提取与匹配以及端到端的视觉里程计等问题上有了相关工作，例如CNN-SLAM在LSD-SLAM基础上将深度估计以及图像匹配改为基于卷积神经网络的方法，并且可以融合语义信息，得到了较鲁棒的效果；剑桥大学开发的PoseNet，是在GoogleNet的基础上将6自由度位姿作为回归问题进行的网络改进，可以利用单张图片得到对应的相机位姿；《视觉SLAM十四讲》一书的作者高翔，利用深度神经网络而不是常见的视觉特征来学习原始数据的特征，实现了基于深度学习的闭环检测；LIFT利用深度神经网络学习图像中的特征点，相比于SIFT匹配度更高。UnDeepVO(基于非监督深度学习的单目视觉里程计)能够通过使用深度神经网络估计单目相机的6自由度位姿及其视野内的深度。UnDeepVO有两个显著的特点：一个是采用了无监督深度学习机制，另一个是能够恢复绝对尺度。UnDeepVO在训练过程中使用双目图像恢复尺度，但是在测试过程中只使用连续的单目图像。虽然目前有许多有关基于深度学习的视觉SLAM领域的算法研究，但大多都是基于SLAM中某个单独的模块利用深度学习算法进行研究，如基于深度学习的视觉里程计算法研究，基于深度学习闭环检测算法研究等，因此探究基于深度学习的视觉SLAM算法研究非常重要。

发明内容

本发明的目的是针对现有的基于深度学习的视觉SLAM定位算法只使用神经网络训练的模型来实现SLAM算法中的某个单一模块而非整个算法流程的问题，提出了一种基于深度学习的视觉SLAM定位方法，通过神经网络来实现整个视觉SLAM定位算法的功能。

本发明的技术方案为：一种基于深度学习的视觉SLAM定位方法，包括以下步骤：

S1、采用图像数据集训练得到用于实现视觉里程计功能的神经网络模型。