[发明专利]一种基于强化学习的视觉拓扑导航方法

说明书

本发明公开了一种基于强化学习的视觉拓扑导航方法，方法中，基于所述强化学习模型以及序列图像建立拓扑地图，给定可移动机器人的当前位置和目标位置之后，基于所述拓扑地图搜索匹配所述当前位置和目标位置；定位当前位置和目标位置之后，进行路径规划，采用最短路径算法选取从当前位置到达目标位置的最短路径；预测子目标节点，在所述最短路径中从当前节点之后的节点中选择一个节点作为子目标节点以引导可移动机器人到达下一个子目标点；以当前状态图像特征和子目标节点的状态图像特征作为强化学习网络输入，强化学习网络进行导航控制，输出引导可移动机器人到达子目标节点的动作信号，直至目标位置完成导航。

技术领域

本发明属于可移动机器人视觉导航领域，特别是一种基于强化学习的视觉拓扑导航方法。

背景技术

自主导航是移动机器人实现环境探索的基本前提，也是当前研究的热点。强化学习由于其突出的动作规划能力而被认为是一种很有前途的进行自主探索的技术。强化学习是一种自我进化类型的机器学习，其通过和环境进行交互，不断试错来进行学习，更加接近于实现真正的人工智能。不过由于强化学习受限于自身的规划能力，对于远距离的导航无能为力，所以需要规划算法进行引导，将大范围的导航任务分解为强化学习可以完成的子任务。

在进行大范围的导航任务时，需要所在环境的地图，当前移动机器人所采用的地图方案通常有度量地图和拓扑地图。其中度量地图具有精度高的特点，但是度量地图建图较为麻烦，需要高精度仪器设备进行辅助。而拓扑地图是一个以关键帧为节点，邻接关系为边的图，其边的权值表示相邻节点的距离。它强调地图元素之间的连接关系，有低空间复杂度，不需要精确的位置信息且可以进行有效的路径规划的优点。在系统对精度要求不是特别高的情况下，使用结合视觉特征的拓扑地图是一个不错的解决方案。这种结合拓扑地图进行导航规划的方法称为视觉拓扑导航。但是在现有的方法中，在不使用度量工具的情况下，建立的拓扑地图还不够有效，相邻节点之间的距离估计也不够准确，同时现有技术在复杂的环境中定位难度比较大，而且定位错误可能会导致增加不必要的轨迹。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明提出一种基于强化学习的视觉拓扑导航方法。通过融入拓扑地图的方式，有效的提高了基于强化学习的可移动机器人的导航范围，解决了在大范围环境中的导航问题，同时解决了拓扑地图稀疏后的有效性问题，并且使用基于时间序列的方式，对可移动机器人定位进行修正，提高了可移动机器人在定位时的准确性。

本发明的目的是通过以下技术方案予以实现，一种基于强化学习的视觉拓扑导航方法包括以下步骤：

第一步骤，可移动机器人遍历当前环境的所有运行轨迹并沿着所述运行轨迹获得当前环境的序列图像，基于所述运动轨迹以及序列图像建立拓扑地图，所述拓扑地图为加权有向图，顶点为图像特征，边的方向代表可移动方向，边的权值代表在两个节点之间的距离；

第二步骤，给定可移动机器人的当前位置和目标位置之后，基于所述拓扑地图搜索匹配所述当前位置和目标位置，其中，当前状态匹配程度最高的节点为当前位置节点，状态匹配程度使用估算的节点之间的距离来度量，距离越近，匹配程度越高；

第三步骤，定位当前位置和目标位置之后，进行路径规划，采用最短路径算法选取从当前位置到达目标位置的最短路径，所述最短路径为从图中的某个节点出发到达另外一个节点的所经过的边的权重和最小的一条路径；

第四步骤，预测子目标节点，在所述最短路径中从当前节点之后的节点中选择一个节点作为子目标节点以引导可移动机器人到达下一个子目标点；

第五步骤，以当前状态图像特征和子目标节点的状态图像特征作为强化学习网络输入，强化学习网络进行导航控制，输出引导可移动机器人到达子目标节点的动作信号，直至目标位置完成导航。