[发明专利]一种轻量级多解耦的视觉里程计实现方法

权利要求书

1.一种轻量级多解耦的视觉里程计实现方法，其特征在于，包括如下步骤：

S1、车辆在移动过程中，通过单目相机获取连续视频帧数据；

S2、采用快速光流提取网络和动态语义提取网络学习步骤S1所得的连续视频帧数据，分别得到光流特征和语义图；

S3、采用深度位姿网络学习步骤S1所得的连续视频帧数据，同时，深度位姿网络的中间特征层参与特征融合网络的计算，即：步骤S2所得的光流特征和语义图通过特征融合网络与深度位姿网络的中间特征层进行融合计算；最终得到深度位姿特征；

S4、解耦网络包括一个位姿解耦模块和一个深度解耦模块，分别用于处理步骤S3所得的深度位姿特征；

深度位姿特征连接至一个位姿解耦模块得到融合后的位姿数据，所述位姿数据包括旋转向量、平移向量；

深度位姿特征连接至一个深度解耦模块得到融合后的深度图；

S5、累加位姿数据得到全局轨迹。

2.根据权利要求1所述一种轻量级多解耦的视觉里程计实现方法，其特征在于：步骤S3中，特征融合网络包括四个相同的FusionBlock模块；所述FusionBlock模块包括19个1×1的卷积层以及2个4×4的卷积层；四个FusionBlock模块依次排序，用于深度位姿网络的四个中间特征层参与特征融合网络的计算。

3.根据权利要求2所述一种轻量级多解耦的视觉里程计实现方法，其特征在于：第i个FusionBlock模块的输出函数公式为：

x_i＝Fusion(Flow，Sem，x_i′)

其中，x_i‘代表深度位姿网络的第i层的融合前特征图，x_i代表深度位姿网络的第i层的融合后的特征图，Fusion代表特征融合网络计算，Flow代表光流特征，Sem代表语义图；

光流特征和语义图通过特征融合网络与深度位姿网络的四个中间特征层的深度位姿特征进行融合计算的方法具体如下：

A1、将光流特征和语义图进行通道一致性计算：

Feature_{flow_out}＝Conv_4×4(Flow)

其中，Conv_4×4代表4×4的卷积层计算，Feature_{flow_out}为光流特征通道一致性计算后输出的特征，Feature_{sem_out}为语义图通道一致性计算后输出的特征；

A2、将深度位姿特征分别与光流特征和语义图进行融合计算：

τ_f＝Conv_1×1(Feature_{flow_out})*4

τ_s＝Conv_1×1(Feature_{sem_out})*4

其中，Conv_1×1代表1×1的卷积层计算，*4代表重复4次，*6代表重复6次，τ_f和τ_s分别为光流特征1和语义特征1，和分别为光流特征2和语义特征2，ω_f和ω_s分别为光流特征3和语义特征3，x_if和x_is分别为光流特征融合特征和语义图融合特征，x_i′为深度位姿网络的特征层。

A3、将融合后的光流特征和语义图进行融合计算：

x_i＝Conv_1×1(x_if+x_is)

其中，x_i为融合后的特征层，当前融合后的特征层经过卷积后作为下一个FusionBlock模块的输入特征层。

4.根据权利要求3所述一种轻量级多解耦的视觉里程计实现方法，其特征在于：步骤S3中，深度位姿网络采用Mobile-Net卷积神经网络结构。