[发明专利]一种基于DBQ算法的路径规划方法

说明书

本发明属于机器人路径规划领域，具体涉及一种基于DBQ算法的路径规划方法。本发明所提出的路径规划方法通过对强化学习Dyna‑Q算法中的动作选择机制进行改进主要解决三个路径规划问题：其一，解决机器人在这种环境中学习的早期阶段学习效率低的问题；其二，提高了机器路径规划的精度；其三，加快了算法的收敛速度。

技术领域

本发明属于机器人路径规划领域，具体涉及一种基于DBQ算法的路径规划方法。

背景技术

近年来，随着现代科学技术，特别是计算机技术、电子通信技术、控制技术的发展，移动机器人性能不断完善，使其在医疗卫生、航天航空、机械制造、教育娱乐等领域得到了不同程度的应用。移动机器人在各个领域完成各项任务的前提条件是从起始位置朝向执行任务的目标点规划处一条有效路径，从而路径规划技术应运而生。路径规划技术是研究移动机器人相关技术的基础，也是机器人学中一个重要的组成部分。传统的路径规划方法大多需要对环境进行完整的信息配置，机器人不具备对环境信息的自学习能力。机器人应用领域的不断扩大导致其应用场景复杂性不断提升，如何能让机器人理解与感知环境成为学术界一直讨论与研究的问题。

现有的研究成果，例如神经网络算法、遗传算法、蚁群算法等智能算法广泛地应用于机器人路径规划领域，但这些算法大都不具备与环境的交互并自主学习以适应复杂多变的环境信息的能力。强化学习(Reinforce Learning，RL)的发展为解决此问题提供了方法，它强调机器人与环境的相互作用，通过“试错”的方式强化机器人的学习过程。机器人不会被教导要采取哪些行动，但它通过Q值函数来评估当前状态从而选择动作以最大化长期目标中的累积奖励。

移动机器人路径规划方法有很多，国内外学者对移动机器人路径规划算法已经进行了大量的研究工作。现存算法从理解环境的角度主要分为非智能算法与智能算法，非智能算法主要利用力、几何等方式完成路径规划的过程，智能算法在强调机器人对环境的学习与理解的基础上完成相应规划过程。

总结现有研究成果发现，目前基于强化学习的机器人路径规划存在以下几个问题需要解决：

(1)非智能算法的路径规划算法虽然灵活简单、可操作性强，但是大都要预知环境信息，机器人对环境的感知能力弱。在环境复杂多变或是缺少环境信息的情况下，传统的算法适用性差；

(2)智能路径规划算法虽然对环境有一定的感知能力，但是算法在机器人路径规划的精度、算法的收敛速度等方面仍需要改进；

(3)Dyna学习框架下强化学习进行移动机器人的路径规划时，利用环境模型产生的模型样本与在线学习产生的真实样本可以共同更新值函数，提高了算法的学习效率。但机器人在具有稀疏奖赏值的未知环境中获得奖励的概率太小，导致机器人在这种环境中学习的早期阶段学习效率低。

发明内容

本发明的目的在于提供通过对强化学习Dyna-Q算法中的动作选择机制进行改进实现有效的避开了环境中的障碍物的一种基于DBQ算法的路径规划方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：构建BP神经网络动作选择器；

步骤2：当前训练次数加一；初始化机器人的起始位置、目标点、Model(s,a)和Q值函数Q(s,a)；其中Model(s,a)为机器人与环境的交互过程中环境估计模型；s为机器人当前的状态，即位置信息；a为机器人即将执行的动作；

步骤3：通过BP神经网络动作选择器选择动作a

步骤4：根据即将执行的动作a，计算机器人下一时刻的状态s'；

步骤5：检查机器人是否进入“死区”，若进入“死区”根据ε-greedy动作选择策略选择动作；

所述的ε-greedy动作选择策略为：