[发明专利]一种基于深度学习的移动机器人视觉里程计流式控制方法

说明书

本发明涉及一种基于深度学习的移动机器人视觉里程计流式控制方法，属于计算机视觉与定位控制技术领域。首先获取场景的RGB图像和Depth图像并配准。通过语义分割和目标检测相结合的方法识别场景中的移动目标，生成mask掩膜。之后，使用视觉里程计估计深度相机位姿，使用预测方法得到深度相机预测位姿并连续输出。然后将系统设置为线程并行执行，线程之间共用的信息设置为共享变量。最后，计算系统的流性能，进行流式评估。根据评估结果，对视觉导航系统进行优化控制。本方法能够得到连续稳定的深度相机位姿输出，达到视觉里程计流式处理控制要求，且在考虑算法时间延迟的基础上，获得相较于非实时的视觉里程计更好的流性能。

技术领域

本发明涉及一种移动机器人视觉里程计流式处理方法，特别涉及一种基于深度学习的移动机器人视觉里程计流式处理方法，属于计算机视觉与定位控制技术领域。

背景技术

近年来，里程计广泛应用于机器人、车辆自动驾驶等领域。里程计技术是移动机器人系统、车辆自动驾驶系统等利用传感器实现自身实时定位的关键技术，是实现路径规划、自主导航及完成其它任务的基础。在导航定位过程中，计算机视觉技术发挥了越来越重要的作用。其中，视觉里程计(Visual Odometry，简称VO)主要负责定位部分，通过传感器采集的数据估计深度相机(指可获取场景中物体与摄像头之间物理距离的相机)的位姿。

VO通常与深度学习方法结合，利用场景中的语义信息来提高移动机器人的视觉导航系统在动态环境中的定位精度。但是，基于深度学习的VO对计算性能的要求较高，往往需要高性能图形处理单元(GPU)来加速，才能实现高精度、高帧率的实时处理和运行。由于体积和功耗的限制，这不利于VO在移动设备上的普及，无法达到流式处理的要求。

对于基于深度学习的视觉里程计这一具有较高应用价值的问题，国内外的研究人员已经做了大量的工作。通常，按照深度学习方法不同，基于深度学习的视觉里程计可以大致分为两类：基于目标检测的视觉里程计和基于语义分割的视觉里程计。其中，基于目标检测的视觉里程计，以基于多目标跟踪的动态街景中的语义单目SLAM(Chen W,Fang M,Liu YH,et al.Monocular semantic SLAM in dynamic street scene based on multipleobject tracking[C]//2017IEEE International Conference on Cybernetics andIntelligent Systems(CIS)and IEEE Conference on Robotics,Automation andMechatronics(RAM).IEEE,2017:599-604.)和基于目标检测和改进的八叉树地图的动态SLAM(Zhang L,Wei L,Shen P,et al.Semantic SLAM based on object detection andimproved octomap[J].IEEE Access,2018,6:75545-75559.)为代表，前者利用目标检测矩形框结合先验知识识别场景中的动态物体，将矩形框内的特征点全部剔除后执行视觉里程计，但由于矩形框的范围大于动态物体的范围，造成目标周围的静态特征点被错误删除，另外目标检测网络运行的实时性有限。后者用Yolo目标检测网络获取语义信息，剔除移动对象上不稳定的特征点，但是不能有效去除潜在动态对象的特征点。基于语义分割的视觉里程计以DS-SLAM(Yu C,Liu Z,Liu X J,et al.DS-SLAM:A semantic visual SLAM towardsdynamic environments[C]//2018IEEE/RSJ International Conference on IntelligentRobots and Systems(IROS).IEEE,2018:1168-1174.)和DynaSLAM(Bescos B,Fácil J M,Civera J,et al.DynaSLAM:Tracking,mapping,and inpainting in dynamic scenes[J].IEEE Robotics and Automation Letters,2018,3(4):4076-4083.)为代表，前者使用SegNet语义分割网络和运动一致性检验剔除动态特征点，将剩余特征点用于视觉里程计估计相机位姿，可以构建语义八叉树地图，但是语义分割比较耗时，无法达到实时性的效果。后者使用Mask RCNN语义分割网络和多视图几何方法剔除动态特征点，并在没有动态目标的情况下完成背景修复，但由于网络推理速度过慢导致无法实时处理。