[发明专利]一种基于语义ORB-SLAM技术的视觉定位方法及系统

说明书

本发明公开了一种基于语义ORB‑SLAM技术的视觉定位方法及系统，包括车载设备、云端服务器、地标；车载控制单元包括RGB‑D相机数据处理模块、语义识别与分割模块、位姿匹配模块、移动控制模块；通过相机数据处理模块对环境特征点提取与匹配、位姿推算、局部与非线性图优化得到全局地图，并提供地图保存与加载接口，实现AGV视觉定位技术；目标检测与匹配模块对已训练好的模型加载并推理，实现像素级语义分割，并计算地标信息，将语义标签和信息保存到全局地图；当AGV需要纯定位时，云端提供标签地标信息，再经过位姿匹配模块计算得到精确位姿；控制模块可全程控制机器人移动，辅助传感设备对环境充分扫描，实时输出移动机器人位姿。

技术领域

本发明涉及移动机器人领域，尤其涉及一种结合深度学习的移动机器人视觉定位方法及系统。

背景技术

目前各种移动机器人已经应用在智能自动化行业，并发挥者非常重要的作用。又随着计算机视觉的高速发展，采用相机代替传统激光作为AGV的数据输入传感器不仅大大降低了成本，也使得AGV功能更加丰富与智能。然而要使机器人稳定工作，且具有导航、调度、避障等功能，必须依赖于精准、高效且可靠的定位技术。在降低成本的同时进一步追求提高机器人定位精度与稳定性，机器人智能性、可靠性也是今后移动机器人发展的必然趋势。因此，本发明的目的是为了解决机器人实时探索环境构建语义地图，而后加载地图后实时输出自身坐标，即使在环境特征点不足的情况下，依然能够通过本发明的重定位技术在降低视觉相机计算量的同时能精准有效地定到自身坐标。

发明内容

本发明的目的是为了解决机器人实时探索环境构建语义地图，而后加载地图后实时输出自身坐标，即使在环境特征点不足的情况下，依然能够通过本发明的重定位技术在降低视觉相机计算量的同时能精准有效地定到自身坐标。

本发明的目的是通过以下技术方案来实现的：一种基于语义ORB-SLAM技术的双目视觉定位方法，该方法包括以下步骤：

(1)对图像点云数据特征追踪处理，采用相机对移动机器人所在环境进行扫描，提取环境中ORB特征点，计算特征点描述子及特征点对应3D点坐标，分布8层金字塔，同时生成关键帧信息，计算3D点投影到关键帧中的地图点坐标和相机粗略位姿；

(2)对图像点云数据关键帧坐标、地图点坐标、相机坐标、移动机器人位姿，采用高斯牛顿法进行非线性图优化处理，并更新优化后的坐标；

(3)对图像点云数据回环候选帧及回环候选帧的临近帧进行位置识别，计算与当前帧的相似度得分，取得分超过阈值的作为可靠回环候选帧；

(4)对图像点云数据可靠回环候选帧进行几何验证，通过特征匹配，计算回环候选帧地图点坐标，相机位姿，与当前帧地图点，相机位姿融合并更新当前帧及临近帧坐标；

(5)对图像点云数据坐标经非线性优化的，位置经回环检测后的地图点、关键帧、相机位姿加入局部地图，再将局部地图不断拼接融合得到全局地图；

(6)对地图进行语义分割与目标识别，通过相机加载模型，实时推理分类，得出输入分类范畴的地标，并计算地标相对相机坐标系下坐标，同时在全局地图分割地标，加入标签融合全局地图，上传云端服务器；

(7)进行位姿匹配，当机器人在已建图环境中重新启动，通过新扫描到的地标，与云端服务器全局地图中地标匹配，获取各分类的地标信息，由地标信息定位出机器人在世界坐标系下位姿。

进一步地，步骤(1)具体过程如下：