[发明专利]一种基于强化学习的室内移动机器人避障方法及系统

权利要求书

1.一种基于强化学习的室内移动机器人避障方法，其特征在于，包括以下步骤：

步骤1、构建室内移动机器人系统的数学模型；

步骤2、设计强化学习算法的回报函数；

步骤3、使用基于RE3探索策略的TD3算法，在仿真环境中对室内移动机器人系统的数学模型进行强化学习训练；

步骤4、将训练完成后的数学模型移植到现实环境中，实现室内移动机器人避障。

2.根据权利要求1所述的基于强化学习的室内移动机器人避障方法，其特征在于，步骤1中，构建室内移动机器人系统的数学模型，具体为：

构建以机器人为原点，x轴指向目标位置的局部坐标系，机器人的状态s^robot与周围第i个障碍物的状态为：

式中，v_x是机器人或障碍物沿x轴的速度，v_y是机器人或障碍物沿y轴的速度；d_g是机器人与目标位置的距离，θ是机器人速度与x轴的角度，r^robot是机器人的半径；是周围第i个障碍物的状态，p_x是第i个障碍物在x轴的位置，p_y是第i个障碍物在y轴的位置，是第i个障碍物的半径，d_i是机器人与第i个障碍物的距离；

假设机器人的最大速度为v_max，转向角为机器人的动作空间为：

假设系统中有n个障碍物，系统的状态空间s为：

3.根据权利要求1所述的基于强化学习的室内移动机器人避障方法，其特征在于，步骤2中，强化学习算法的回报函数设计为：

式(4)中，r(s_t，a_t)是回报函数，s_t是环境在t时刻的状态，a_t是机器人在在t时刻执行的动作，表示的是在t时刻机器人与障碍物之间的最短距离；

是机器人的速度大小，机器人与障碍物之间相距小于阈值时，给予负的回报，同时根据速度的大小给予相应的惩罚；

当时，代表发生了碰撞，给予负的回报，当机器人到达目标位置时，给予正的回报；

是t时刻机器人与目标位置的距离，是在t-1时刻机器人与目标位置的距离；为了引导机器人朝向目标位置前进，若机器人与目标位置的距离减小，将给予正回报。