[发明专利]轻量级的基于深度学习的惯性辅助视觉里程计实现方法

权利要求书

1.一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，所述视觉里程计包括TVnet光流提取网络、密集卷积网络以及扩展卡尔曼滤波器，所述惯性辅助视觉里程计实现方法包括以下步骤：

S1、机器人在移动过程中，通过相机获取连续视频帧数据，通过惯性测量单元获取加速度数据和角速度数据；

S2、采用所述TVnet光流提取网络学习所述连续视频帧数据，并得到光流特征；

S3、将所述光流特征输入所述密集卷积网络中进行处理，并输出得到初步位姿数据，所述初步位姿数据包括位置向量I、姿态向量I、位置向量I预测方差和姿态向量I预测方差；

S4、对所述加速度数据和所述角速度数据进行积分，得到位置向量II、姿态向量II、位置向量II方差和姿态向量II方差；

S5、通过所述扩展卡尔曼滤波器将位置向量I、姿态向量I、位置向量I预测方差、姿态向量I预测方差、位置向量II、姿态向量II、位置向量II方差和姿态向量II方差进行数据融合，得到融合后的位姿数据。

2.根据权利要求1所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，所述密集卷积网络包括一个7×7的卷积层、一个平均池化层、四个DenseBlock模块、三个transition模块以及一个全连接层网络。

3.根据权利要求2所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，四个所述DenseBlock模块所使用的bottleneck的数量分别为4个、6个、8个和12个，每个bottleneck均包括一个1×1的卷积层和一个3×3的卷积层；每个transition模块均包括一个1×1卷积核和一个2×2池化层。

4.根据权利要求3所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，各bottleneck依次排序，第i个bottleneck的输入函数公式为：

x_i＝H[X₀，X₁，…，X_i-1]

其中，x_i-1代表第i-1层的特征地图，H代表拼接操作。

5.根据权利要求1所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法，其特征在于，所述步骤S5中，通过扩展卡尔曼滤波器进行数据融合的方法具体包括：

A1、根据位置向量I、姿态向量I及位置向量I预测方差、姿态向量I预测方差进行状态预测：

S_t＝S_t-1+∑_t

其中，T_vt为t时刻位置向量I，R_vt为t时刻姿态向量I，μ_t-1为t-1时刻的位姿向量，为t时刻的位姿向量，∑_t为t时刻协方差矩阵，S_t-1为t-1时刻的测量累积误差，S_t为t时刻的测量累积误差；

A2、为位置向量I预测方差添加惩罚项：

Q_Tt＝Q_T(t-1)+A×(b×t)^c；

其中，Q_T(t-1)为t-1时刻的预测位移方差矩阵，Q_Tt为t时刻的预测位移方差矩阵，A、b、c均为可调参数；

A3、数据融合：

K＝S/(S+Q_t)

其中，Q_Rt为t时刻的预测旋转方差矩阵，Q_t为t时刻的预测方差矩阵，K为卡尔曼增益，μ_t即为融合后的位姿数据，T_j为位置向量II，R_j为姿态向量II。