[发明专利]基于变异的双重DQN的快速路径规划方法及移动机器人

摘要

本发明公开一种基于变异的双重DQN的快速路径规划方法及移动机器人，其中移动机器人从经验回放存储器中采样mini‑batch个转换信息，并按照第一预设规则从两个决斗深度卷积神经网络中选择一个作为第一在线网络，另一个则作为第一目标网络；获取预测的在线动作值函数Q(s,a；w)和贪婪动作a′，获取预测的目标动作值函数的最大值；根据预测的目标动作值函数的最大值和预测的在线动作值函数计算当前时间步上的损失函数；根据损失函数利用自适应时刻估计方法更新在线权重参数w。本发明基于双Q学习与决斗DQN网络的不同融合方式，改变了权重参数的更新方式，更为有效的实现了移动机器人的路径规划。

主权项

1.一种基于变异的双重DQN的快速路径规划方法，其特征在于，该基于变异的双重DQN的快速路径规划方法包括：步骤S1：移动机器人从经验回放存储器中采样mini‑batch个转换信息(s,a,r,s′,d)，并按照第一预设规则从两个决斗深度卷积神经网络中随机选择一个作为第一在线网络，另一个则作为第一目标网络；其中，所述mini‑batch为每个时间步上用来更新的采样经验的个数；所述s为当前的环境状态；所述s′为与所述环境状态s对应的后继状态；所述a为所述移动机器人采用ε‑贪婪策略确认执行的动作；所述r为执行所述动作a后环境给予的即时奖励；所述d是任务结束与否的标志；步骤S2：根据所述环境状态s和所述第一在线网络获取预测的在线动作值函数Q(s,a；w)，所述预测的在线动作值函数Q(s,a；w)为在所述环境状态s下所有可能动作a的预测动作函数值；根据所述后继状态s′和所述第一在线网络获取贪婪动作a′，所述贪婪动作a′为所述后继状态s′在所述第一在线网络中预测的动作值函数的最大值maxa′Q(s′,a′,w)；所述w为所述第一在线网络的在线权重参数；步骤S3：根据所述后继状态s′、所述贪婪动作a′以及所述第一目标网络获取预测的目标动作值函数的最大值Q(s′,argmaxa′Q(s′,a′,w),w‑)，所述w‑为所述第一目标网络的目标权重参数；步骤S4：根据所述预测的目标动作值函数的最大值Q(s′,argmaxa′Q(s′,a′,w),w‑)和所述预测的在线动作值函数Q(s,a；w)计算当前时间步上的损失函数：所述γ为折扣因子，所述为求所述采样的mini‑batch个转换信息中转换信息(s,a,r,s′,d)的更新误差的期望值；步骤S5：根据所述损失函数利用自适应时刻估计方法更新所述第一在线网络的在线权重参数w。