[发明专利]一种基于强化学习的视觉拓扑导航方法

权利要求书

1.一种基于强化学习的视觉拓扑导航方法，所述方法包括以下步骤：

第一步骤，可移动机器人遍历当前环境的所有运行轨迹并沿着所述运行轨迹获得当前环境的序列图像，基于所述运行轨迹以及序列图像建立拓扑地图，所述拓扑地图为加权有向图，顶点为图像特征，边的方向代表可移动方向，边的权值代表在两个节点之间的距离；

第二步骤，给定可移动机器人的当前位置和目标位置之后，基于所述拓扑地图搜索匹配所述当前位置和目标位置，其中，当前状态匹配程度最高的节点为当前位置节点，状态匹配程度使用估算的节点之间的距离来度量，距离越近，匹配程度越高；

第三步骤，定位当前位置和目标位置之后，进行路径规划，采用最短路径算法选取从当前位置到达目标位置的最短路径，所述最短路径为从图中的某个节点出发到达另外一个节点的所经过的边的权重和最小的一条路径；

第四步骤，预测子目标节点，在所述最短路径中从当前节点之后的节点中选择一个节点作为子目标节点以引导可移动机器人到达下一个子目标点；

第五步骤，以当前状态图像特征和子目标节点的状态图像特征作为强化学习网络输入，强化学习网络进行导航控制，输出引导可移动机器人到达子目标节点的动作信号，直至目标位置完成导航；

其中，

第一步骤中，所述运行轨迹以及序列图像采用通用值函数逼近器模型UVFA进行处理，得到拓扑地图，其中，

目标条件值函数估计当前状态到目标状态的长期奖励，

设可移动机器人当前状态为，

目标状态为，表示在目标位置所观察到的环境图像，

在朝目标位置运动的过程中执行动作，并且获得奖励，其中，π表示强化学习模型所学习到的动作策略，表示在当前状态为，目标状态为的情况下，基于策略π确定的动作为，

当可移动机器人到达目标位置或者超过时间t的阈值T后结束，可移动机器人的目标是最大化累计奖励，

，

，

为动作值函数，为状态值函数，

为了使模型的奖励能够很好的表示状态之间的距离，定义每一步的奖励为常数：，为折扣因子，

保留每一步的奖励，当到达目标状态时累积奖励对应于到达目标状态的步骤的负数：

，

为在使用最优策略下从到的期望步数，表示状态之间的相对距离，

可移动机器人所执行的策略，表示每次执行使得Q值最大的动作，

通过设定阈值距离，当时，认为两个节点相连，通过设置阈值距离删除多余的边，然后使用深度优先搜索遍历，如果连通分量增加，那么边为“桥”，并将其记录下来作为不可稀疏的边，最后对边进行稀疏，其中，只保留阈值距离内距离当前节点最远的那个节点，将二者视为相连，删除其余节点。

2.根据权利要求1所述的方法，其中，

基于时间序列的方式进行定位以判断当前可移动机器人是否还在最短路径上，最短路径为最短路径上的拓扑节点的集合，

当可移动机器人当前状态为时，保留当前状态前k时刻的状态，当检测到定位到最短路径之外的节点上时，分别比较和到的距离，取中距离序列最近的一个节点：

，

其中，

表示在当前状态的前T个时刻经过的拓扑节点组成的集合，并且这个集合是的子集，

表示两个节点之间的距离，表示从t=i-k时刻到t=i这段时间内的所有状态到节点的距离之和，节点的取值范围为，找到使得距离和最小的那个节点，

若距离最小的为节点，说明可移动机器人已经偏离当前规划的最短路径，则重新规划最短路径，可移动机器人沿着新的路径进行导航，否则，将定位修正到原最短路径上来，继续进行导航。

3.根据权利要求1所述的方法，其中，

所述最短路径算法为Dijkstra算法或Bellman–Ford算法。

4.根据权利要求1所述的方法，其中，

对移动机器人进行导航控制采用通用值函数逼近器模型UVFA，使用当前状态和子目标节点的目标状态作为强化学习模型的输入，输出控制信号用于控制可移动机器人导航到子目标节点，直到到达目标位置，导航结束。