[发明专利]一种基于强化学习的路径规划方法及装置

说明书

本发明提供了一种基于强化学习的路径规划方法及装置，通过建立环境势能场，利用目标点的引力场和障碍物的斥力场对迭代路径的引导作用，可以加快收敛的速度，并且可以根据环境势能场优化奖励函数，从而实现奖励函数中也体现环境势能，即综合原奖励函数、目标点的引力场和障碍物的斥力场所产生的作用力的合力，来更有目的性的选取迭代路径，得到下一状态，从而在加快迭代搜索效率的同时也能够更加容易找到目标点，从而提高学习能力。

技术领域

本发明涉及智能交通领域，具体涉及一种基于强化学习的路径规划方法及装置。

背景技术

路径规划是智能体、智能车辆发展的关键技术，路径规划是指智能体在未知的环境下，规划出一条从起点到终点并躲避障碍物的路线。常用的路径规划方法可分为传统方法和人工智能方法，传统方法有栅格法、人工势场法和拓扑空间法等，人工智能方法包括遗传算法、蚁群算法和神经网络方法等。

随着智能体应用场景越来越复杂，传统的路径规划方法已经不能满足复杂环境的路径规划需求。近年来，基于人工智能的机器学习快速发展，包括监督学习、无监督学习、半监督学习、强化学习四类。其中，强化学习因其强大的自主学习能力被广泛地应用于决策规划技术。强化学习是基于行为主义心理学的方法，不需要大量带有标签的训练数据，通过不断地与环境交互，从环境中获取状态动作的奖励反馈，从而学习到具有最大奖励值的状态和动作，以实现最优任务规划。强化学习路径规划的关键在于构建马尔可夫决策过程、状态和动作的定义以及奖励函数的设计，目前研究较多的用于求解信息不完全Markov决策问题的强化学习有Q学习方法和SARSA算法。

Q学习因其强大的自主学习能力，在路径规划领域已经取得了很多成果，是应用最为广泛的强化学习算法。Q学习首先建立一个Q表所有的状态-动作对的价值，每一次迭代时从环境中获得一个奖励反馈信息来更新Q表，如果得到正反馈(比如抵达目的地)，则对应Q值会不断增大；如果得到负反馈(比如碰到障碍物)，则对应Q值会不断减少。在经过多次训练后，Q表将收敛到真实的动作价值函数，智能体根据贪心策略选择动作以完成任务。

然而，常规的Q学习方法在没有任何先验知识的情况下，会将Q表初始化为全0或随机数，这将大大增加在复杂环境下初期迭代的搜索盲目性，容易出现很大的无效迭代搜索空间，增加收敛时间。此外，强化学习存在探索与利用困境，探索是指智能体在没有足够先验知识的情况下，对环境进行探索。利用是指智能体在积累一定经验后，选择经验中奖励最大的动作。如果只是利用已探知的环境，则智能体可能会错过更优的路线，陷入局部最优解；若大量的探索未知环境，则计算量增加，收敛时间大大增加。

发明内容

有鉴于此，本发明实施例致力于提供一种基于强化学习的路径规划方法及装置，通过建立环境势能场，利用目标点的引力场和障碍物的斥力场对迭代路径的引导作用，可以加快收敛的速度，并且可以根据环境势能场优化奖励函数，从而实现奖励函数中也体现环境势能，即综合原奖励函数、目标点的引力场和障碍物的斥力场所产生的作用力的合力，来更有目的性的选取迭代路径，得到下一状态，从而在加快迭代搜索效率的同时也能够更加容易找到目标点，从而提高学习能力。

根据本发明的一方面，本申请一实施例提供的一种基于强化学习的路径规划方法，包括：建立环境势能场，所述环境势能场包括目标点的引力场和障碍物的斥力场；根据所述环境势能场和奖励函数，优化所述奖励函数；选择迭代路径，得到下一状态；以及当所述下一状态的奖励函数满足预算条件时，结束迭代。

在一实施例中，所述方法还包括：根据所述环境势能场和奖励函数，初始化当前状态的评价函数。

在一实施例中，所述根据所述环境势能场和奖励函数，初始化当前状态的评价函数包括：所述当前状态的初始评价函数值与对应的奖励函数正相关，所述当前状态的初始评价函数值与对应的状态下的势能值正相关；其中，所述势能值为所述引力场和所述斥力场的合力。