[发明专利]一种基于改进DDPG算法的移动机器人路径规划方法

权利要求书

1.一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，包括如下步骤：

步骤1，建立基于深度强化学习的移动机器人路径规划模型，将移动机器人路径规划问题，描述为马尔科夫决策过程；

步骤2，设计DDPG算法的状态空间、动作空间、actor网络、critic网络及奖励函数；

步骤3：对DDPG算法的经验回放池进行改进，将经验回放池划为多个不同优先级的经验回放池，移动机器人在训练过程中，根据移动机器人是否到达目标点、以及是否发生碰撞，将获取的训练数据放入不同的经验回放池中；

步骤4：设计仿真环境，移动机器人与环境进行交互，获取训练数据，采样训练数据对移动机器人进行仿真训练，完成无碰撞的路径规划。

2.根据权利要求1所述一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，步骤2中DDPG算法的状态空间包括：激光雷达数据、移动机器人当前的控制指令、移动机器人上一时刻的控制指令、目标点的方位和距离；所述移动机器人当前的控制指令是指移动机器的角速度和线速度；

DDPG算法的动作空间包括：移动机器人体坐标系下绕Z轴旋转的角速度和沿X轴的线速度。

3.根据权利要求1所述一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，步骤2中DDPG算法的奖励函数根据移动机器人是否到达目标点、移动机器人与目标点的距离变化以及是否与障碍物发生碰撞设计如下：

根据移动机器人是否到达目标点设计的奖励函数：

式中，χ_t为t时刻移动机器人与目标点的距离，d₁为设定的阈值，当移动机器人与目标点小于d₁时表示到达目标点；

根据移动机器人与障碍物是否发生碰撞设计的奖励函数：

式中，d_i为激光雷达检测到最近的障碍物的距离，d₂为设定的常数阈值，当移动机器人与障碍物的距离小于d₂时，表示与障碍物发生碰撞；

为引导移动机器人向着目标点前进，根据移动机器人与目标点之间的距离变化，设计的奖励函数：

其中，χ_t-1为t-1时刻移动机器人与目标点的距离，χ_t为t时刻移动机器人与目标点的距离；

最后总的奖励函数为：

R＝r_arrival+r_collision+r_dis。

4.根据权利要求1所述一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，步骤4中的设计仿真环境，移动机器人与环境进行交互，获取训练数据，采样训练数据对移动机器人进行仿真训练，完成无碰撞的路径规划，具体包括如下步骤：

步骤4.1，设计仿真环境，移动机器人与环境进行交互，获取训练数据存储到经验池中；

步骤4.2，从经验池中采样获取训练数据，训练actor网络和critic网络；

步骤4.3，将移动机器人当前状态信息输入到经过训练后的策略网络中，其输出移动机器人下一步的动作指令。

5.根据权利要求1或4所述一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，步骤3中将经验回放池划为多个不同优先级的经验回放池，具体为：划为三个不同优先级的经验回放池，当移动机器人到达目标点时，将获取的训练数据放入优先级最高的经验回放池一中；当移动机器人处于正常的探索阶段时，将获取的训练数据放入优先级次之的经验回放池二中；当移动机器机器人与障碍物发生碰撞时，将获取的训练数据放入优先级最低的经验回放池三中；

所述训练数据包括状态信息、当前时刻及上一时刻的动作指令及奖励值数据，所述状态信息包括激光雷达数据、以及目标点的方位和距离信息。

6.根据权利要求4所述一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，步骤4.2中采样获取训练数据具体是按不同的比例从经验回放池中采样。

7.根据权利要求5所述一种基于改进DDPG算法的移动机器人路径规划方法，其特征在于，步骤4.2中采样获取训练数据具体是先按3：4：3的比例进行采样，训练到多个回合后，再按照4：3：3的比例从三个不同优先级的经验回放池中采样。