[发明专利]一种轻量级多解耦的视觉里程计实现方法

说明书

本发明公开了一种轻量级多解耦的视觉里程计实现方法，采用快速光流提取网络和动态语义提取网络得到光流特征和语义图；采用深度位姿网络得到深度位姿特征，其中通过特征融合网络将光流特征、语义图和位于某些中间层的深度位姿特征融合；解耦网络处理输出结果分别连接至全连接层网络，得到位姿数据，接至反卷积层网络得到深度图数据；轻量化网络结构设计用于特征提取。该方法将卷积神经网络应用于视觉里程计中，对静态像素更加敏感，减小全局位姿累积误差；使用特征融合网络将光流特征、深度位姿特征和语义图融合，减小了相对位姿数据误差，取得了更好的效果；视觉里程计实现方法计算量小，精度高，鲁棒性好。

技术领域

本发明涉及移动车辆自主导航定位技术领域，具体为一种轻量级多解耦的视觉里程计实现方法。

背景技术

定位和地图导航是移动车辆的基本需求，感知自我运动及其周围环境的能力在发展认知和运动控制方面起着至关重要的作用。同样，移动车辆也应该能够使用车载传感器感知环境并估计它们的系统状态，同时为移动车辆在未知环境中的移动而提供增量式的连续定位服务。视觉里程计是基于视觉的同时定位与地图构建系统中的一个极具挑战的开放性问题。其主要任务是依据视觉传感器所传回的图像数据来估计自身的位姿变化。

现有经典方法中基于人工特征构建的模型，例如ORB-SLAM2，其人工设计的特征鲁棒性低、泛化性差，在相对位姿估计中精度较低。此外，现有经典方法中基于人工特征构建的视觉里程计模型依赖于相机参数，存在传统方法中的尺度问题。

现有基于卷积神经网络模型的视觉里程计大多模型复杂，难以达到实时性要求，且精度较低，应用受到严重限制，例如基于光流法的Flow-Net、TV-Net。现实道路环境下的动态物体也会导致相对运动的产生，造成连续帧下图像光度一致性破坏，从而导致精度下降。

发明内容

为解决现有技术存在的不足，本发明在基于卷积神经网络的视觉里程计中引入光流特征和语义图，实现提高视觉里程计定位精度的目的，提供了一种轻量级多解耦的视觉里程计实现方法。

本发明是采用如下技术方案实现的：

一种轻量级多解耦的视觉里程计实现方法，包括如下步骤：

S1、车辆在移动过程中，通过单目相机获取连续视频帧数据。

S2、采用快速光流提取网络和动态语义提取网络学习步骤S1所得的连续视频帧数据，分别得到光流特征和语义图。

S3、采用深度位姿网络学习步骤S1所得的连续视频帧数据，同时，深度位姿网络的中间特征层参与特征融合网络的计算，即：步骤S2所得的光流特征和语义图通过特征融合网络与深度位姿网络的中间特征层进行融合计算；最终通过深度位姿网络得到深度位姿特征。

S4、解耦网络包括一个位姿解耦模块和一个深度解耦模块，分别用于处理步骤S3所得的深度位姿特征；

深度位姿特征连接至位姿解耦模块得到融合后的位姿数据，所述位姿数据包括旋转向量和平移向量；

深度位姿特征连接至深度解耦模块得到融合后的深度图。

S5、累加位姿数据得到全局轨迹。

进一步优选的，步骤S3中，特征融合网络包括四个相同的FusionBlock模块；所述FusionBlock模块包括19个1×1的卷积层以及2个4×4的卷积层；四个FusionBlock模块依次排序，用于深度位姿网络中的四个中间特征层参与特征融合网络的计算。

第i个FusionBlock模块的输出函数公式为：

x_i＝Fusion(Flow,Sem,x_i′)