[发明专利]轻量级的基于深度学习的惯性辅助视觉里程计实现方法

说明书

本发明公开了一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，涉及移动机器人自主导航定位技术领域，其采用快速光流提取网络学习连续视频帧数据，并得到光流特征；将光流特征输入密集卷积网络中进行处理，处理输出结果连接至全连接层网络，得到初步位姿数据；对加速度数据和角速度数据进行预处理；通过扩展卡尔曼滤波器将初步位姿数据和预处理得到的数据融合。该方法将密集卷积网络应用于视觉里程计中，对旋转姿态的更加敏感，减小角度累积估计误差，提高地图重建精度；使用扩展卡尔曼滤波器将惯性测量单元数据与相机数据融合，减小了位姿数据误差，取得了更好的效果；视觉里程计实现的整个过程计算量小，且速度快，对相机的要求低。

技术领域

本发明涉及移动机器人自主导航定位技术领域，具体而言，涉及一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法。

背景技术

同时定位与建图(simultaneous localization and mapping,SLAM)是机器人在未知环境下自主作业的核心关键技术，是机器人自动化领域的研究重点。未知环境下，基于机器人外部传感器获取的环境感知数据，为机器人构建周围环境图，同时提供机器人在环境图中的位置，并随着机器人的移动而进行环境图的增量式构建与机器人的连续定位，是实现机器人环境感知与自动化作业的基础。

在无人驾驶汽车和智能机器人的发展中，车辆和机器人在未知环境下自主定位和构建实时地图显得尤为重要。视觉测程作为一种自主定位解决方案，可以为无人驾驶车辆和智能机器人在未知环境下提供所需的姿态信息。

传统的SLAM算法，如ORB-SLAM2已经达到了较高的精度。然而，这些方法依赖于优化和闭环检测技术，车辆或机器人检测达到在地图上曾经经过位置，从而修正当前位姿，消除累积误差。但是对于只考虑帧与帧之间估计的系统，这种方法精度有待提高。

还有一种视觉里程计方法叫做光流法，例如VISO2，它是一种基于两帧间密集光流从而估计载体运动的高精度方法。但光流法计算量大，难以应用于对实时性有较高要求的场景。

PeterM.Muller提出了一种基于Flownet生成光流的端到端视觉里程计的方法，使用神经网络计算光流的Flownet 2.0方法大大提高了计算速度，比现有的基于光流的VO系统具有更高的实时性，但对于一般摄像机采样频率仍然达不到实时性的要求。

发明内容

本发明在于提供一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

本发明提供了一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，所述视觉里程计包括快速光流提取网络、密集卷积网络以及扩展卡尔曼滤波器，所述惯性辅助视觉里程计实现方法包括以下步骤：

S1、机器人在移动过程中，通过相机获取连续视频帧数据，通过惯性测量单元获取加速度数据和角速度数据；

S2、采用所述快速光流提取网络学习所述连续视频帧数据，并得到光流特征；

S3、将所述光流特征输入所述密集卷积网络中进行处理，并输出得到初步位姿数据，所述初步位姿数据包括位置向量Ⅰ、姿态向量Ⅰ、位置向量Ⅰ预测方差和姿态向量Ⅰ预测方差；

S4、对所述加速度数据和所述角速度数据进行积分，得到位置向量Ⅱ、姿态向量Ⅱ、位置向量Ⅱ方差和姿态向量Ⅱ方差。

S5、通过所述扩展卡尔曼滤波器将位置向量Ⅰ、姿态向量Ⅰ、位置向量Ⅰ预测方差、姿态向量Ⅰ预测方差、位置向量Ⅱ、姿态向量Ⅱ、位置向量Ⅱ方差和姿态向量Ⅱ方差进行数据融合，得到融合后的位姿数据。