[发明专利]一种密集行人环境下移动机器人的视觉导航方法及装置

说明书

本发明公开了一种基于强化学习和传统路径规划的密集行人环境下移动机器人的导航方法，采用传统路径规划和强化学习相结合的方式分别进行全局路径规划和局部路径规划。其中，使用强化学习的方法对环境中行人的复杂运动进行学习，从而实现移动机器人的自主避障，进而实现移动机器人在动态环境下的导航。本发明能够在密集行人环境下快速做出避障决策，拓展了移动机器人的应用场景。

技术领域

本发明属于移动机器人导航领域，涉及一种密集行人环境下移动机器人的视觉导航方法及装置，尤其涉及一种基于强化学习和传统路径规划的密集行人环境下移动机器人的视觉导航方法及装置。

背景技术

机器人使用传统导航方法进行导航时主要分为两步：路径规划和轨迹跟踪。第一步是根据当前静态环境的地图，为移动机器人在当前位置与目标位置之间在不发生碰撞的前提下规划出一条最佳路径；最佳的评价指标有多种，如路径最短，能耗最低等。第二步是在满足机器人运动学约束的前提下，按照第一步生成的轨迹进行运动规划。第一步，基于静态地图的全局路径规划可以确保路径的基本最优性。第二步，尽管现有的传统避障方法可以基于局部信息实现与周围障碍物的避碰，但通常无法保证全局最优。但是，轨迹跟踪的过程中过分强调局部规划的灵活性，很容易陷入局部最优解从而导致导航性能不佳。这些方法的特定缺点如下：(1)算法包含大量需要手动调整的参数，这使得此类算法对场景变化极为敏感，无法自动适应不同的场景。(2)即使针对单个场景调整的可接受的动作决策参数也需要大量的经验和复杂的实验。

为了解决上述问题，更多的研究者选择使用基于学习的方法来处理人工调节难以处理的导航环境。很多学者使用模仿学习和强化学习试图解决复杂环境中的决策问题。基于监督学习的模仿学习使用人工神经网络来从大量专家样本中拟合状态到动作的映射关系，从而使机器人能够获得在复杂环境中做出可接受的合理的动作的能力。

但需要注意的是监督学习的假设前提是样本满足独立且同分布的特征。但是，决策中状态对之间的时间相关性很强，使得样本无法有效地满足这一前提假设。决策中的多模式问题也限制了模仿学习的推广和适用性。

发明内容

本发明为了解决现有技术中的问题，提出了一种密集行人环境下移动机器人的视觉导航方法，该方法基于强化学习和传统路径规划相结合，采用传统路径规划和强化学习相结合的方式分别进行全局路径规划和局部路径规划。其中，使用强化学习的方法对环境中行人的复杂运动进行学习，从而实现移动机器人的自主避障，进而实现移动机器人在动态环境下的导航，拓展了移动机器人的应用场景。

为了达到上述目的，本发明的实施例提供了一种密集行人环境下移动机器人的视觉导航方法，包括以下步骤：

S101、获取机器人所处的静态环境地图及机器人自身起始和目标点位置；

S102、使用Dijkstra算法为该起始-目标点对规划全局路径；

S103、在上述规划的全局路径上按照固定距离生成多个全局路径点，供后续局部路径规划使用；

S104、使用PPO算法跟随上述全局路径进行局部路径规划。

进一步地，上述Dijkstra算法输入参数包括静态地图、机器人当前时刻位置和目标点位置，输出参数为全局路径点；

上述PPO算法输入参数为2D RGB图像、机器人当前时刻位置和离机器人最近的全局路径点位置，输出参数为移动机器人速度的大小和方向。

进一步地，上述全局路径规划仅考虑移动机器人所处的静态地图，使用传统路径规划方法Dijkstra算法生成待实现起始-目标点对的全局路径。

进一步地，上述局部路径规划完成每两个全局路径点之间的局部导航任务，需根据RGB相机传回的2D RGB图像数据判断移动机器人附近的行人运动情况，并结合机器人当前位置和最近的全局路径点位置输入PPO算法，使强化学习决策网络能够在跟随规划好的全局路径的同时灵活躲避周围的静态障碍物和行人。