[发明专利]一种基于多智能体强化学习的货物运输系统

说明书

本发明涉及一种基于多智能体强化学习的货物运输系统，包括：包括货运智能体、分组模块和模型构建模块；所述分组模块用于获取每个货运智能体的位置坐标，并根据动态分组算法对所有货运智能体进行分组，得到至少一个货运智能体小组；模型构建模块用于通过隐性赋予权重算法对每个货运智能体小组中的货运智能体进行权重划分，对货运智能体小组内的多个货运智能体进行隐式协调控制；采用多智能体深度确定性策略梯度算法的集中式评论家方式构建神经网络，通过神经网络生成多货运智能体的优化路径，货运智能体小组中的货运智能体根据该优化路径绕过障碍物并到达地标。本发明能够处理数量多、通信信息量大的货运智能体，其性能好、效率高且成本低。

技术领域

本发明属于多智能体系统技术领域，特别涉及一种基于多智能体强化学习的货物运输系统。

背景技术

随着人工智能、通信及信息等技术的发展，多智能体的研究近年来一直是很多人关注的研究热点。多智能体系统可以被广泛应用于公共设施检测、灾难环境调查、军事侦察、仓储搬运等领域，无论在军用还是民用方面都得到了广泛应用。在货物运输过程中，使多个货运智能体能够智能的规划路线，以到达多个不同的位置放置货物，是一个十分重要的问题，因为这样能够加快运货的效率，同时减少人力成本，现在也越来越成为一个研究的重点方向。其中货运智能体和障碍间的相对距离的控制往往至关重要，多货运智能体之间精确地相对距离权重控制可以保证系统内部成员之间的防碰撞。尤其是在外部产生很大的干扰时，比如货运智能体遇到阵风、地面货运智能体遇到负载变化等一些外部干扰时，如何使系统可以表现出很强的适应性和鲁棒性，保证多货运智能体之间的距离控制也成为多智能体系统在实际应用过程中需要关注的问题。

现有技术中，申请号201811581645.3中公开一种应用于多智能体间相对距离控制及自适应矫正方法，该方法可以有效保证多智能体之间的相对距离的控制，避免多智能体之间的碰撞，通过使用ESO可以使系统具有很强的适应性及鲁棒性。申请号201810606662.1公开了一种强化学习多智能体沟通与决策方法，该方法根据各个智能体的观测状态信息通过神经网络提取相应的状态特征；将所有智能体的状态特征作为沟通信息输入至VLAD层中进行软分配与聚类，得到聚类后的沟通信息；将聚类后的沟通信息分发给各个智能体，由各个智能体将自身的状态特征与接收到的聚类后的沟通信息进行聚合，并通过智能体内部的全连接神经网络进行动作决策。

在现有的多货运智能体系统中，单个货运智能体要把所有货运智能体的信息都不加处理的直接进行考虑。但是实际上，在多智能体环境中，由于距离、速度以及其他因素的不同，对单个货运智能体而言，所有货运智能体信息中可能会存在一些不需要的信息甚至干扰信息，且通信信息量过大，因此可能会减慢系统收敛速度，影响整个系统的性能和效率。另外，在当前的多智能强化学习研究中，也不能解决当货运智能体数目较多的情况下的收敛性问题。

发明内容

本发明的目的在于针对现有技术存在的技术问题，提供一种基于多智能体强化学习的货物运输系统，能够处理大规模货运智能体，其性能好、效率高且成本低。

为了解决上述问题，本采用的技术方案为：

一种基于多智能体强化学习的货物运输系统，包括货运智能体、分组模块和模型构建模块；

所述货运智能体的数量为至少两个，且每个货运智能体分别包括相应的地标和至少一个障碍物；

所述分组模块用于获取每个货运智能体的位置坐标，并根据动态分组算法对所有货运智能体进行分组，得到至少一个货运智能体小组，每个货运智能体小组中分别包括至少两个货运智能体；

模型构建模块：用于通过隐性赋予权重算法对每个货运智能体小组中的货运智能体进行权重划分，对货运智能体小组内的多个货运智能体进行隐式协调控制；采用多智能体深度确定性策略梯度算法的集中式评论家方式构建神经网络，通过所述神经网络生成多货运智能体的优化路径，所述货运智能体小组中的货运智能体根据该优化路径绕过障碍物并到达地标。