[发明专利]一种动态环境下的移动机器人路径规划方法

权利要求书

1.一种动态环境下移动机器人路径规划方法，其特征在于，所述路径规划方法包括以下步骤：

步骤1：通过移动机器人所携带的激光雷达获取原始数据与动态障碍物信息；

步骤2：对步骤1中的原始数据进行数据处理后，与移动机器人周围的信息结合后得到DDPG算法的状态S；

步骤3：设计DDPG算法的状态空间、动作空间和奖励函数，所述奖励函数包括移动机器人与目标直线距离的奖惩、与动态障碍物碰撞的惩罚以及到达目标点的奖励；

步骤4：根据速度和运动的特点构建多类型动态障碍物环境；

步骤5：将DDPG算法与好奇心算法相融合，建立内外奖励共同作用的奖励机制；

步骤6：移动机器人使用改进完成的DDPG算法在步骤4中建立的环境中进行训练学习，并对训练好的模型进行动态环境下路径规划的测试。

2.根据权利要求1所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤1中的原始数据包括目标点和动态障碍物距激光雷达距离、方位、姿态和形状。

3.根据权利要求1所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤2的移动机器人周围的信息包括移动机器人与障碍物的距离、与目标点之间的距离，以及移动机器人朝向偏离目标点所在方向的角度。

4.根据权利要求3所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤2根据机器人与障碍物之间的距离将机器人与障碍物之间状态分为导航状态N和撞到障碍物状态C，如下公式所示：

其中d_i(t)是机器人在时间t的第i维激光雷达距离数据；当机器人与障碍物之间的距离d_i(t)≤0.2m，机器人处于撞到障碍物状态C；当机器人与障碍物之间的距离d_i(t)0.2m时机器人处于正常导航状态N。

5.根据权利要求1所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤3的奖励函数包括对目标直线距离的奖惩、靠近目标点奖励以及远离目标点惩罚；碰撞到动态障碍物给予惩罚；到达目标点给予奖励。

6.根据权利要求5所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤3奖励函数为

其中reward是回报值；p_t为t时刻位置移动机器人与设定点之间的距离，d_goal为移动机器人与目标点的距离阈值；r_arrive是到达奖励，当移动机器人与目标点的距离小于等于阈值d_goal即认为到达目标点，给予奖励；其次r_collision是碰撞惩罚，当移动机器人与障碍物的距离小于等于阈值d_collisinon即认为碰撞到障碍物，给予惩罚；c_r为一个常数，c_r(p_t-1-p_t)为移动机器人从起始点到达目标点过程中的奖励值，接近目标点为正，远离目标点为负。

7.根据权利要求1所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤4在匀速运动的动态障碍物基础上加入随机变换速度的障碍物，设定障碍物速度在(v_low-v_high)之间每时刻随机变换，其中v_low为设定的动态障碍物最低的运动速度，v_high为设定的动态障碍物最高的运动速度，并根据障碍物有规律和无规律的运动特点设计了水平、竖直以及旋转的动态障碍物。

8.根据权利要求1所述的一种动态环境下移动机器人路径规划方法，其特征在于：所述步骤5具体为，好奇心算法与DDPG算法相结合后最终的奖励值为式中r_t为总的奖励值，为好奇心模块的内在奖励，为DDPG算法的外在奖励。