[发明专利]一种基于多智能体强化学习的货物运输系统

权利要求书

1.一种基于多智能体强化学习的货物运输系统，其特征在于，包括货运智能体、分组模块和模型构建模块；

所述货运智能体的数量为至少两个，且每个货运智能体位于地图上的不同位置，并且有相应的地标和障碍物；

所述分组模块用于获取每个货运智能体的位置坐标，并根据动态分组算法对所有货运智能体进行分组，得到至少一个货运智能体小组，每个货运智能体小组中分别包括至少两个货运智能体；

模型构建模块：用于通过隐性赋予权重算法对每个货运智能体小组中的货运智能体进行权重划分，对货运智能体小组内的多个货运智能体进行隐式协调控制；采用多智能体深度确定性策略梯度算法的集中式评论家方式构建神经网络，通过所述神经网络生成多货运智能体的优化路径，所述货运智能体小组中的货运智能体根据该优化路径绕过障碍物并到达地标；

所述通过隐性赋予权重算法对每个货运智能体小组中的货运智能体进行权重划分，对货运智能体小组内的多个货运智能体进行隐式协调控制具体包括：

对于每一个货运智能体，都需要4个视角，分别为：每个货运智能体自身信息对应的一个视角、另一个货运智能体信息对应的两个视角、所有货运智能体信息对应的一个视角；每个货运智能体在不同的视角下，根据多智能体深度确定性策略梯度算法的集中式评论家Q值的大小隐私赋予权重；所述集中式评论家由全连接的神经网络组成，每次都使用所有货运智能体信息产生一个Q值，根据当前状态与下一个状态产生Q值的不同推动梯度更新，进而训练神经网络并生成策略，所有货运智能体根据该策略分布式执行。

2.根据权利要求1所述的基于多智能体强化学习的货物运输系统，其特征在于，还包括设置模块，所述设置模块用于设定货运智能体的移动动作空间和状态空间，并设置环境中的奖惩机制。

3.根据权利要求2所述的基于多智能体强化学习的货物运输系统，其特征在于，所述设定货运智能体的移动动作空间和状态空间，具体为：

设定所述货运智能体的状态为单个网格的位置坐标，用网格对角线交点的x,y坐标写成二维数组形式表示；设定货运智能体可以360度自由移动。

4.根据权利要求2所述的基于多智能体强化学习的货物运输系统，其特征在于，所述环境中的奖惩机制为当货运智能体达到设定状态时，环境所给予的奖惩回报；所述奖惩机制包括：令各货运智能体应与其它货运智能体以及障碍物保持设定距离，若违背给予惩罚；根据各货运智能体与所要到达地标之间的距离关系，按照货运智能体与各个地标的最小距离给与相应大小的奖励。

5.根据权利要求4所述的基于多智能体强化学习的货物运输系统，其特征在于，所述神经网络使用深度Q网络中的经验池和双网络结构促进神经网络学习路径知识，将所述货运智能体看作是算法中的Actor，每个Actor对应一个Critic，Critic观测各个货运智能体并给出对应智能体的路径状态建议，进行策略更新。

6.根据权利要求5所述的基于多智能体强化学习的货物运输系统，其特征在于，所述神经网络包括Critic模块，所述Critic模块采用双网络结构，由两个结构相同、参数更新时间不同的网络构成，分别为及时更新参数的状态估计网络π和延时更新参数的状态现实网络π′，状态估计网络π的参数表示为θ^π，状态现实网络π′的参数表示为θ^π′。