[发明专利]一种基于深度强化学习多AGV避障与路径规划方法及系统

说明书

本发明涉及一种基于深度强化学习多AGV避障与路径规划方法及系统，其方法包括：步骤S1：每个AGV进行数据采集以及预处理，得到输入图片；步骤S2：将输入图片输入避障神经网络并进行训练，得到障碍物特征图；步骤S3：将每个AGV的障碍物特征图，输入路径规划决策模型，得到每个AGV的路径规划策略；步骤S4：每个AGV根据中央控制器所获取的所有AGV的状态‑动作对，以获取全局路径规划策略，并根据全局路径规划策略更新每个所述AGV的路径规划策略，以获得最优的全局路径规划策略。本发明采取一种多AGV的Actor‑Critic深度强化学习方法，通过分散执行‑集中学习的框架方式解决多AGV的路径规划与冲突协调的问题，同时，规避了通信协议的引入，避免了通信延迟所带来的弊端。

技术领域

本发明属于多AGV控制技术领域，特别涉及了一种基于深度强化学习多AGV避障与路径规划方法及系统。

背景技术

传统制造工厂需要向智能工厂转型，其中的首要任务即实现车间的无人化。计算机集成制造系统技术和工业自动化的逐步发展，自动引导车(Automated Guided Vehicle，简称AGV) 作为一种运输工具，被广泛应用于制造设施、仓库和配送等环节中移动原材料或工具，是实现无人车间的重要环节，并逐渐发展成为现代物流加工自动化的有效手段。AGV系统由计算机控制，能自主导航，自动规划路径和执行任务，相比传统的运输工具，具有方便调度与管理，安全可靠，自动化程度高等优点，是当前国际机器人应用研究领域的热点之一。

在多AGV协同任务调度方面，多AGV智能自动运输系统对提升轨道交通的运转稳定性、工作效率、降低生产作业成本有着重要意义，是企业优化自身管理运行机制、实现装备自动化与管理信息化以及提升效益的必由之路。但是，随着任务量级的扩大以及可用AGV数量的增多，任务分配、AGV多车调度等问题的复杂度也提升，如何在固定场景中，为多个AGV规划无碰撞的最优任务调度是AGV的难点问题。

多AGV协同运输是在学习地图建立、环境特征的基础上，结合机器视觉，利用强化学习、场景理解等技术，对任务进行分析和分配，准确规划各个小车的路径，实现最优调度，以最低成本完成物料运输任务。多AGV协同任务调度、多AGV路径规划和自主导航、智能避障、仿真验证是协调多个AGV完成物料工具自动运输的研究重点。虽然已经取得了一定的成果，但仍存在多AGV间任务冲突，行为不协调，信息不共享等问题。

公开号为CN110989570A的发明专利公开了一种多AGV防碰撞协同路径规划方法，该方法为仓储环境建立格栅地图，将仓储等比缩放划分为格栅图，为每个格栅图赋予权值，即路过该格栅的次数；同时为AGV小车赋予优先级以避免冲突的发生；对于碰撞冲突的处理，该方法明确了多AGV可能存在的各种冲突类型，并设计了判断方式与解决办法；采用了稀疏算法的思想，使AGV的行驶路线尽量均衡，减少了冲突发生的概率。

现有技术在处理多AGV避障与路径规划问题中，多采取格栅法进行地图建模，利用地图的先验知识，线下根据经验对碰撞冲突进行处理；但是，由于智能仓储环境的不确定性和非平稳行的动态特点，这些方法不足以适应于智能仓库中AGV作业环境：货物作为仓储中的静态障碍物由于搬运需求情况下，位置是不固定的、变化的；仓库管理员以及多AGV作为动态障碍物，在没有先验知识的情形下很难预估它们的移动路线从而避免碰撞。针对多AGV避障与路径规划问题中，为了使得AGV间信息共享，通过引入通信协议引入可以解决信息共享问题，但随着AGV集群规模增大，通信延迟因素，带宽的影响成为导航的阻碍。

发明内容

为了解决上述技术问题，本发明提供一种基于深度强化学习多AGV避障与路径规划方法及系统。

本发明技术解决方案为：一种基于深度强化学习多AGV避障与路径规划方法，包括：

步骤S1：每个AGV进行数据采集以及预处理，得到输入图片；

步骤S2：将所述输入图片输入避障神经网络并进行训练，得到障碍物特征图；