[发明专利]一种基于深度学习的移动机器人视觉里程计流式控制方法

权利要求书

1.一种基于深度学习的移动机器人视觉里程计流式处理方法，其特征在于，包括以下步骤：

步骤1：获取场景的RGB图像和Depth图像，并进行配准；

步骤2：识别场景图像中的动态目标，生成mask掩膜；

步骤3：使用视觉里程计，估计深度相机的位姿；

步骤4：根据深度相机的历史位姿，预测深度相机的当前位姿；

根据步骤3得到的深度相机位姿中距离当前最近的两次位姿，计算深度相机的速度矩阵Velocity，表示为：

Velocity＝T_nl＝T_nw×T_wl

其中，T_wl是前一次相机位姿，T_nw是后一次相机位姿，T_nl是相机运动的速度矩阵；

根据速度矩阵Velocity，预测当前的相机位姿T_fw，表示为：

其中，Δt为待预测的图像帧序号与后一次相机位姿T_nw处理的图像帧序号的差值；

步骤5：连续输出深度相机位姿；

步骤6：将系统设置为多线程并行模式；

根据步骤1、步骤4和步骤5，将场景图像输入、深度相机位姿预测以及深度相机位姿的连续输出合并为主线程；

根据步骤2，将语义分割作为一个单独的mask线程；

根据步骤3，将视觉里程计作为一个单独的track线程；

将主线程、mask线程和track线程设置为并行执行，线程之间共享所需信息；

步骤7：对系统进行流式评估；

根据步骤1输入的深度相机真实位姿和输入时间戳，表示为：

其中，gt_i是输入的深度相机真实位姿，t_i是输入时间戳，i是输入帧序号，M是输入帧的数量；

根据步骤5输出的深度相机预测位姿和输出时间戳，表示为：

其中，op_j是输出的深度相机预测位姿，s_j是输出时间戳，j是输出结果序号，N是输出位姿的数量，且N＜M；

对于每一帧输入i，都找到一个输出结果与之对应，使得输入时间戳和输出时间戳满足流式评估的要求，表示为：

其中，μ(i)表示评估的起始帧序号，是与第i帧输入对应的第j个输出结果序号；最终，计算流性能τ表示为：

其中，loss是计算真实位姿和预测位姿的损失函数；表示与第i帧输入对应的输出结果；M是输入帧的数量；

根据评估结果，对视觉导航系统进行优化控制，开展移动机器人的自主定位与路径导航。

2.如权利要求1所述的一种基于深度学习的移动机器人视觉里程计流式处理方法，其特征在于，步骤1中，首先获取具有相同时间戳的RGB图像、Depth图像以及深度相机位姿的真实值，包括从数据集中获取、使用深度相机采集；

然后，计算RGB图像和Depth图像映射矩阵，对缺失深度值的像素进行填充，得到配准的RGB图像和Depth图像，之后计算深度相机的真实位姿。

3.如权利要求1所述的一种基于深度学习的移动机器人视觉里程计流式处理方法，其特征在于，步骤2中，对图像执行像素级语义分割，获得场景中潜在移动目标的一个二进制的mask图像；对图像执行目标检测，获取移动目标的外接矩形框和类别标签；

在语义分割输出的二进制mask掩膜的基础上，结合目标检测结果进一步优化，对于所有矩形框，保持框内部的像素值不变，框外部的像素值赋值为0。

4.如权利要求3所述的一种基于深度学习的移动机器人视觉里程计流式处理方法，其特征在于，对图像执行目标检测，获取移动目标的外接矩形框和类别标签时，将RGB图像输入到目标检测网络中，返回一个l×5的矩阵，其中l是识别的动态目标的数量，矩形的每一行形式化表示为：

[x′,y′,w′,h′,label]

其中，x′,y′是矩形框左上角的坐标，w′,h′是矩形框左上角的宽度和高度，label是类别标签。