[发明专利]基于深度强化学习DQN的多AGV路径规划避障方法

说明书

本发明一种基于深度强化学习DQN的多AGV路径规划避障方法，其包括以下步骤：根据激光雷达点云数据构建周围环境地图，并将其转换为栅格地图；根据栅格地图信息构建AGV的观察矩阵和状态向量，观察矩阵记录AGV周围是否存在其他AGV且这些AGV的运行方向；构建针对单AGV的多起点多终点路径规划模型；将构建的模型应用在环境中所有AGV上，计算出每个AGV在不考虑其他AGV的情况下的预动作，依据AGV观测范围内其他AGV的预动作得到观测矩阵，利用观测矩阵对模型结果进行修正。相较于其他启发式算法或利用深度强化学习的方法构建多AGV路径规划的方法相比，本发明能够保证AGV在躲避碰撞的同时保持最优的动作选择。

技术领域

本发明涉及一种基于深度强化学习DQN的多AGV路径规划避障方法，属于移动机器人导航技术领域。

背景技术

近年来，自动引导小车(Auto Guide Vehicle，AGV)因其响应快、可控性强、工作效率高、安全性好的特点带来的高柔性和自动化程度高的优势，使其作为物料运输工具在仓储系统与制造工厂中都起到了重要作用。

路径规划算法研究是AGV研究内容中最重要的技术之一，其研究的目的是在已知的AGV起点和终点之间，根据不同的需求规划出一条最优或者次优的AGV移动线路，以保证运输过程的通畅与高效。当系统趋于庞大和复杂时，为保证系统有序高效的运行，需要多个AGV在其中协同合作。在系统中包含多个AGV时，除了需要为每台AGV规划合理高效地到达终点的路径外，还需要考虑AGV之间的碰撞躲避问题。在保障AGV之间不发生碰撞和死锁的情况下，为每个AGV规划一条到达终点的合理路径。

现有的大多数针对多AGV的路径规划算法的求解思路是利用启发式或元启发式算法对每个AGV分别进行路径规划，并对AGV将要遇到的碰撞情况进行预测分析，若AGV将要发生碰撞，则采取一定的方法重新规划路线躲避碰撞。但是，这样的方法存在以下的问题：当环境较为复杂，环境中AGV数量较多时，传统的路径搜索算法计算量较大，实时性较差，可能无法短时间给出最优的AGV运行和避障的策略；现有方法大多数对AGV之间碰撞情况的分析停留在四方向上，即AGV能够向上，下，左，右四个方向移动，这大大限制了AGV的运行空间和灵活性。

一种多机器人路径规划的避障方法(Haodong Li,Tao Zhao,SongyiDian.Prioritized planning algorithm for multi-robot collision avoidance basedon artificial untraversable vertex[J].Applied Intelligence(2022)52:429–451.)，基于机器人的动作和位置定义了五种机器人之间的碰撞，同时构建针对这些碰撞的规避提出了人工不可穿越顶点的概念。最后结合D*Lite方法进行路径规划和避障。由于碰撞规避的策略是人为规定的有限的方式，不能囊括所有多机器人之间的碰撞情况，同时在机器人进行避障的过程中忽略了路径最优，在避障过后重新规划机器人到达终点的路径也更加繁琐。针对以上不足，提出了一种自适应的基于深度强化学习的避障方式，可以在避障的同时兼顾最优路径选择，提升计算效率的同时也能较好降低计算的复杂度。

发明内容

为了解决上述背景技术中存在的问题，本发明提供了一种基于深度强化学习DQN的多AGV路径规划避障方法。

本发明至少通过如下技术方案之一实现。

一种基于深度强化学习DQN的多AGV路径规划避障方法，包括以下步骤：

步骤1、根据激光雷达点云数据构建周围环境地图，并将地图转换为栅格地图；栅格地图的信息包括各AGV的位置、障碍物的尺寸；

步骤2、根据栅格地图信息构建AGV的观察矩阵和状态向量，观察矩阵记录AGV周围是否存在其他AGV且其他AGV的运行方向；状态向量包括包含以下三个部分：终点位置、AGV当前位置与终点的关系、周围环境信息；