[发明专利]基于势场的强化学习路径规划算法

说明书

本发明提供了一种面向复杂环境下基于势场的强化学习机器人路径规划算法，属于智能算法优化领域，针对场景内存在大规模数量的可移动障碍物的环境条件，实现了复杂动态环境下的机器人路径规划。本方法首先利用传统人工势场法对环境空间进行建模，再根据势场模型定义马尔科夫决策过程中的状态函数、奖励函数和动作函数，并利用深度确定性策略梯度的强化学习算法，在仿真环境中对其进行训练，最终使机器人具备在复杂障碍物环境下进行无碰撞的路径规划的决策能力。实验结果表明，该方法决策时间短、系统资源占用低、具备一定的鲁棒性，能够实现在复杂环境条件下的机器人路径规划。

技术领域

本发明属于智能算法优化领域，涉及一种面向复杂动态环境的基于势场的强化学习路径规划算法。

背景技术

路径规划方法是指机器人在无障碍物碰撞的前提下，规划出一条从起始点到目标点的最优路径的方法。路径规划是一种满足约束条件下的优化问题，优化指标通常有时间最短、路程最优和能耗最低等，算法需具备一定的复杂性、随机性和多约束性等特点。根据路径规划的算法模型，可分为传统方法和智能方法，常用的传统方法有栅格法、人工势场法和拓扑空间法等，常用的智能方法有遗传算法、蚁群算法和强化学习方法等。

栅格法(Grid Method，GM)是最常用的环境建模方法之一，1968年W.E.Howden首次提出利用该方法进行机器人路径规划研究，栅格法将环境地图分为很多小栅格，定义障碍物区域、已覆盖区域和未覆盖区域。该方法简单实用，但计算量大，因此只适合简单环境的情况。四叉树法对栅格地图法进行改进，将环境地图进行四分化，四叉树数据结构使得环境可以迅速建模，但当许多小障碍物存在于环境时，树形结构会加深，计算量相应增大。

人工势场法(Artificial Potential Field，APF)是一种基于虚拟力的路径规划方法，由Khatib和Andrews等人于1994年首次提出。该方法将虚拟的势场附加在机器人的运动环境中，假设目标点处存在引力场，障碍物处存在斥力场，将机器人视为一个质点，在整个环境中受到目标点对其施加的引力，在障碍物附近受到斥力，机器人的运动方向取决于引力和斥力的合力。人工势场法收敛速度快，实时性强，但不适用于复杂的动态环境，优化过程中容易发生合力为零、陷入局部极小值的现象。

遗传算法(Genetic Algorithm，GA)是人工智能科学的一个分支，是一种模仿达尔文的遗传进化过程搜索最优解的算法。其思想源于遗传选择和适者生存的进化规律，将一种群体中的所有个体视作对象，利用随机化技术指导对一个编码的参数空间进行高效搜索，遗传算法的遗传操作包括选择、交叉和变异，参数编码、初始群体的设定、适应度函数的设计、遗传操作设计和控制参数设定五个要素是遗传算法的核心内容。其最大的优点是容易与其他算法进行结合，缺点是计算效率不高，改进该算法也是当前的研究热点。

蚁群算法(Ant Colony Algorithm，ACA)是一种启发式的搜索算法，其思想源于蚁群觅食行为的探索，蚂蚁觅食时会在经过路径上留下一定量的信息素，同一时间段内最短的路径上保留的信息素相对较多，因此通过算法的反复迭代后，后来的蚂蚁会根据信息素浓度选择较短的路径。该算法易于实现，但计算效率不高，容易陷入局部最优解。

强化学习(Reinforcement Learning，RL)的方法是一种比较新兴的研究方法，基本思想是结合机器学习的理论，对机器人在学习阶段的行为进行评估，如果机器人的行为符合预期设定则奖励为正，那么机器人将在以后的动作行为中更加偏向使用该行为，反之这种行为的出现概率将会越来越低，甚至消失。通过有效的设定行为奖惩规则，可以使得机器人能够按照设定进行长时间的“训练”，最终实现机器人的路径规划。强化学习路径规划的研究难点主要在于路径规划到马尔科夫过程的转化，以及状态函数、动作函数和奖励函数的定义。