[发明专利]一种用于智能仓储机器人系统的分布式多机器人路径规划方法

说明书

本发明涉及一种用于智能仓储机器人系统的分布式多机器人路径规划方法，属于多机器人自动控制技术领域，在格子地图工作空间中，将机器人状态输入到DQN神经网络中产生动作，通过动作作用于环境中，得到下一个时刻的状态和奖励，所述奖励包括引导机器人从初始位置行驶至终止位置并且行驶的过程中尽量减少转换方向的第一部分奖励，以及指导机器人在行驶的过程中避免与其他机器人的碰撞的第二部分奖励。本发明利用DQN训练算法得到一个策略，该策略可以很好的指导机器人在智能仓储空间中从它的初始位置行驶至目标位置，在行驶的过程中，能够避免与其他机器人碰撞。并且尽量减少机器人在行驶的过程中转换方向，提高机器人完成任务的效率。

技术领域

本发明属于多机器人自动控制技术领域，涉及一种用于智能仓储机器人系统的分布式多机器人路径规划方法。

背景技术

智能仓储空间中通常布置有几十甚至上百台机器人，这些机器人通常是24小时连续不断地运输商品。目前，大多数智能仓储系统都采用的是集中式控制方法，中央服务器掌握全部环境信息以及各受控机器人的信息，运用规划算法、优化算法，中央对任务进行分解和分配，向各受控机器人发布命令，组织多个受控机器人共同完成任务。该方法严重依赖于机器人与中央控制器之间的通信，一旦中央控制器出现问题，那么整个智能仓储机器人系统将会瘫痪。该方法的灵活性差，当系统中机器人的个数增加或减少时，原有的规划结果无效，需重新规划。该方法的适应性差，中央服务器在复杂多变的环境中无法保证各受控机器人快速地响应外界的变化，做出适当的决策。因此该结构不适合动态、开放的环境。

发明内容

有鉴于此，本发明的目的在于基于深度强化学习DQN网络，提供一种新的应用于智能仓储机器人系统的分布式多机器人路径规划算法。本发明利用DQN训练算法得到一个策略，该策略可以很好的指导机器人在智能仓储空间中从它的初始位置行驶至目标位置，在行驶的过程中，能够避免与其他机器人碰撞。并且尽量减少机器人在行驶的过程中转换方向，提高机器人完成任务的效率。

为达到上述目的，本发明提供如下技术方案：

一种用于智能仓储机器人系统的分布式多机器人路径规划方法，在格子地图工作空间中运行机器人，将机器人状态输入到DQN(Deep Q Network)神经网络中产生动作，通过动作作用于环境中，得到下一个时刻的状态和奖励，所述奖励包括引导机器人从初始位置行驶至终止位置并且行驶的过程中尽量减少转换方向的第一部分奖励，以及指导机器人在行驶的过程中避免与其他机器人的碰撞的第二部分奖励。

进一步，机器人在kT时刻的状态为s^kT，T为机器人以速度v移动一个格子所需要的时间；状态s^kT包括三部分，第一部分为激光雷达扫描周围360°距离的数据s_o^kT，第二部分为当前机器人相对于目标的位置s_g^kT，第三部分为上一个时刻机器人执行的动作s_a^kT；

进一步，根据机器人工作的格子地图工作空间，机器人在kT时刻的动作空间As包含五个动作，分别为前进、后退、往左、往右和停止；在kT时刻机器人将状态输入DQN神经网络得到动作a^kT；

a^kT～π_θ(a^kT|s^kT),k＝0,1,2,... (2)

As＝{(v,0),(-v,0),(0,v),(0,-v),(0,0)} (3)。

进一步，第i个机器人的奖励r_i^kT包括第一部分奖励(^gr)_i^kT和第二部分奖励(^cr)_i^kT：