[发明专利]基于变异的双重DQN的快速路径规划方法及移动机器人

说明书

本发明公开一种基于变异的双重DQN的快速路径规划方法及移动机器人，其中移动机器人从经验回放存储器中采样mini‑batch个转换信息，并按照第一预设规则从两个决斗深度卷积神经网络中选择一个作为第一在线网络，另一个则作为第一目标网络；获取预测的在线动作值函数Q(s,a；w)和贪婪动作a′，获取预测的目标动作值函数的最大值；根据预测的目标动作值函数的最大值和预测的在线动作值函数计算当前时间步上的损失函数；根据损失函数利用自适应时刻估计方法更新在线权重参数w。本发明基于双Q学习与决斗DQN网络的不同融合方式，改变了权重参数的更新方式，更为有效的实现了移动机器人的路径规划。

技术领域

本发明涉及机器学习与人工智能领域，具体而言，本发明为一种基于变异的双重DQN的快速路径规划方法。

背景技术

移动机器人的路径规划是指机器人根据传感器摄像头获得的信息对所处环境进行感知并自主的规划出一条抵达目标的路线。在实际中，人们一般采用基于诸如蚁群算法等传统算法的方法进行，但是随着科学技术的不断发展，移动机器人面临的环境越来越复杂多变，传统的路径规划方法已满足不了移动机器人需求。

针对这种情况，人们提出了深度增强学习(Deep Reinforcement Learning，简称，DRL)，DRL将深度学习与强化学习进行了融合，其中深度学习主要负责利用神经网络的感知功能对输入的环境状态提取特征，实现环境状态到状态动作值函数的拟合；而强化学习则负责根据深度神经网络的输出和一定的探索策略完成决策，从而实现状态到动作的映射，其能够较好的满足移动机器人的移动需求，一般都以DRL中经典的DQN算法为基础进行路径规划，但是，DQN算法存在动作值高估现象的缺点。

发明内容

为了寻找更为有效的移动机器人的路径规划方案，本发明提供了一种基于变异的双重DQN的快速路径规划方法，该方法包括：

步骤S1：移动机器人从经验回放存储器中采样mini-batch个转换信息(s,a,r,s′,d)，并按照第一预设规则从两个决斗深度卷积神经网络中随机选择一个作为第一在线网络，另一个则作为第一目标网络；

其中，所述mini-batch为每个时间步上用来更新的采样经验的个数；

所述s为当前环境状态；所述s′为与所述环境状态s对应的后继状态；

所述a为所述移动机器人采用ε-贪婪策略确认执行的动作；

所述r为执行所述动作a后环境给予的即时奖励；所述d是任务结束与否的标志；

步骤S2：根据所述环境状态s和所述第一在线网络获取预测的在线动作值函数Q(s,a；w)，所述预测的在线动作值函数Q(s,a；w)为在所述环境状态s下所有可能动作a的预测动作函数值；根据所述后继状态s′和所述第一在线网络获取贪婪动作a′，所述贪婪动作a′为所述后继状态s′在所述第一在线网络中预测的动作值函数的最大值max_a′Q(s′,a′,w)；所述w为所述第一在线网络的在线权重参数；

步骤S3：根据所述后继状态s′、所述贪婪动作a′以及所述第一目标网络获取预测的目标动作值函数的最大值Q(s′,argmax_a′Q(s′,a′,w),w^-)，所述w^-为所述第一目标网络的目标权重参数；

步骤S4：根据所述预测的目标动作值函数的最大值

Q(s′,argmax_a′Q(s′,a′,w),w^-)

和所述预测的在线动作值函数Q(s,a；w)计算当前时间步上的损失函数：