[发明专利]一种基于改进DDPG算法的移动机器人路径规划方法

说明书

本发明公开了一种基于改进DDPG算法的移动机器人路径规划方法，旨在充分发挥深度强化学习算法的未知动态环境适应性，从而快速规划出一条无碰撞的最短路径。本发明主要针对DDPG算法的收敛速度慢的问题进行改进，对DDPG算法中的经验回放池回放技术进行改进，从而提高其收敛速度。

技术领域

本发明属于移动机器人运动控制技术领域，尤其涉及一种基于改进DDPG算法的移动机器人路径规划方法。

背景技术

移动机器人完成其它任务的首要前提就是要移动到指定目标位置，因此路径规划技术是移动机器人技术中关键的技术之一。移动机器人在城市环境中要完成路径规划，不仅要考虑到静态的障碍物，同时也要考虑到动态的障碍物；由于城市环境十分复杂多变，要建立完整的地图信息十分困难，因此未知环境下的移动机器人路径规划十分重要，同时也给移动机器人进行路径规划增加了很大的难度。

目前传统路径规划算法可以分为全局路径规划和局部路径规划两大类。全局算法包括A*算法，Dijkstra算法，可视图算法，自由空间法等；全局路径规划算法通常需要提前获取全局地图信息，但是移动机器人工作的环境通常是动态的，并且难以获取准确的环境信息，因此只能将全局路径规划，划分为若干个子规划过程，即局部路径规划。局部路径规划大致可以分为4类：随机采样规划方法、人工势场法、图搜索法和群智能优化法。快速扩展随机树算法(Rapidly-exploring Random Trees,RRT)是经典的基于随机采样的算法之一，该算法能快速实现路径规划而得到广泛的应用，但是其无法保证路径最优。人工势场法虽然能应用于未知环境中，但是其容易陷入局部最优。基于群智能算法的代表算法包含，遗传算法、粒子算法、蚁群算法及一些融合算法等，群智能算法因其计算复杂度高，不适用于未知动态环境中机器人路径规划。

近年来随着强化学习和神经网络的发展，深度强化学习算法被认为是解决未知动态环境最具有潜力的方法。根据采用的(Deep reinforcement learning，深度强化学习)DRL算法框架的不同，可以分为基于价值的DRL路径规划和基于actor-critic的DRL路径规划方法。基于价值的DRL算法主要有(Deep Q-learning network，深度Q网络)DQN,DoubleDQN算法等，该种方法只能处理移动机器人离散的动作集合，对于连续的动作空间则有较大的局限性。基于actor-critic的方法主要包含DDPG(Deep Deterministic PolicyGradient深度确定性策略梯度)、TRPO、PPO等，较好的解决了移动机器人连续控制的问题，但是存在着收敛速度慢，不稳定等问题急需解决。

因此，能否很好的实现移动机器人在未知动态环境中的路径规划。决定着移动机器人的发展和应用，所以移动机器人路径规划技术是十分重要的。

发明内容

发明目的：针对DDPG算法在未知动态环境进行路径规划时收敛速度慢的问题，本发明提出了一种基于改进DDPG算法的移动机器人路径规划方法。

技术方案：本发明提出了一种基于DDPG算法的移动机器人路径规划方法，实现移动机器人找到一条从起点到达终点的无碰撞路径，包括如下步骤：

步骤1，建立基于深度强化学习的移动机器人路径规划模型，将移动机器人路径规划问题，描述为马尔科夫决策过程。

步骤2，设计DDPG算法的状态空间、动作空间、actor网络、critic网络及奖励函数。

步骤3：对DDPG算法的经验回放池进行改进，将经验回放池划为多个不同优先级的经验回放池，移动机器人在训练过程中，根据移动机器人是否到达目标点，以及是否发生碰撞，将获取的训练数据放入不同的经验回放池中。

步骤4：设计仿真环境，移动机器人与环境进行交互，获取训练数据，采样训练数据对移动机器人进行仿真训练，完成无碰撞的路径规划。