[发明专利]动态场景机器人定位建图系统及方法

权利要求书

1.一种动态场景机器人视觉定位建图系统，其特征在于，包括：

语义分割线程，用于采用深度学习技术实时的获取语义分割结果，以生成带有语义信息的语义图像；

位姿估测线程，用于根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧，所述位姿估测线程进一步用于：获取当前帧到达匹配特征点的LK光流金字塔；通过多个样本点和RANSAC得到基础矩阵；根据基础矩阵得到当前帧的极线；判断匹配点到极线的距离是否小于预设阈值；如果距离大于预设阈值，则匹配点为移动点；将运动一致性检测法与语义信息相结合构成两种语义信息：移动物体或非移动物体，如果物体被判为移动的，则移除该物体边界的所有特征点；

稠密语义八叉树地图线程，用于根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，完成动态目标的剔除，可用于高级复杂任务，所述稠密语义八叉树地图建立线程还用于通过概率融合法建立稳定的3D八叉树地图，将动态目标剔除，并与语义信息相融合，该地图可以用于导航以及机器人完成高级复杂任务；

后端优化线程，用于对所述关键帧进行局部优化和关键帧筛选；

回环线程，用于对局部优化和关键帧筛选的结果进行整体优化和回环检测。

2.根据权利要求1所述的动态场景机器人视觉定位建图系统，其特征在于，所述语义分割线程与所述位姿估测线程进行数据交流，与运动一致性检测相结合剔除环境中的动态目标。

3.一种动态场景机器人视觉定位建图方法，其特征在于，包括以下步骤：

采用深度学习技术实时的获取语义分割结果，以生成带有语义信息的语义图像；

根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧；其中，所述根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧，进一步包括：获取当前帧到达匹配特征点的LK光流金字塔；通过多个样本点和RANSAC得到基础矩阵；根据基础矩阵得到当前帧的极线；判断匹配点到极线的距离是否小于预设阈值；如果距离大于预设阈值，则匹配点为移动点；将运动一致性检测法与语义信息相结合构成两种语义信息：移动物体或非移动物体，如果物体被判为移动的，则移除该物体边界的所有特征点；

根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，完成动态目标的剔除，可用于高级复杂任务，稠密语义八叉树地图建立线程，用于根据语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，进一步包括：通过概率融合法建立稳定的3D八叉树地图，并将3D八叉树地图与语义信息相融合；

对所述关键帧进行局部优化和关键帧筛选；

对局部优化和关键帧筛选的结果进行整体优化和回环检测。