[发明专利]一种基于DDPG的移动机器人无先验地图导航决策方法

权利要求书

1.一种基于DDPG的移动机器人无先验地图导航决策方法，其特征在于：该方法包括以下步骤：

S1：初始化Actor网络、Critic网络的参数、设置经验缓冲池大小以及随机取样的大小；

S2：构建导航决策模型的训练的仿真环境；

S3：提取机器人搭载的激光雷达(－90°,+90°)范围的9个均匀间隔的扇形区域的测距信息；

S4：导航决策模型驱动机器人向目标点靠近，开始对导航决策模型进行训练；

S5，重复S4步骤，直到机器人所获得的奖励值和导航成功率保持较高值且保持稳定；

S6：导航决策模型训练结束后，设置新的仿真环境对机器人的导航性能和稳定系进行测试验证。

2.根据权利要求1所述的一种基于DDPG的移动机器人无先验地图导航决策方法，其特征在于：所述S2具体为：

S21：利用gazebo、V-REP等仿真平台创建需要训练的机器人模型和封闭或者开放的机器人导航环境，并在所创建的环境中设置一定数量的障碍物；

S22：初始化机器人导航初始点，导航目标点在训练过程中随机生成。

3.根据权利要求2所述的一种基于DDPG的移动机器人无先验地图导航决策方法，其特征在于：所述S4具体为：

S41：模型驱动机器人运动，在运动探索过程中，机器人根据奖励函数获得对应的奖励值；

S42：将激光雷达的测距信息、目标点的信息进行归一化处理；

S43：将归一化的激光雷达测距信息和目标点的信息、机器人的动作以及奖励值存放在经验缓冲池中，Actor网络和Critic网络分别从经验缓冲池中随机均匀取样进行训练，Actor网络输出机器人的动作，Critic网络通过状态-动作值函数对机器人当前的动作进行评估，以获得最大奖励值为目标，不断优化机器人动作和导航策略；

S44：当机器人满足以下条件之一就结束一幕的训练过程：

(1)到达目标点；

(2)机器人与障碍物发生碰撞；

(3)训练过程探索步数达到最大探索步数；

结束一幕的训练过程后，将机器人初始点初始化和并在模型训练的仿真环境中随机生成下一个导航目标点。