[发明专利]一种基于策略迁移的多智能体协同进化方法

说明书

本发明涉及一种基于策略迁移的多智能体协同进化方法，包括如下步骤：初始化，将每个多智能体集合为一个向量，种群包含多个向量；对种群中的向量进行变异和交叉，获得更新的种群；获得更新的种群中的每个向量的代价值，并将更新后的种群学习经验存入缓存区；对缓存区的向量进行策略搜索，然后将更新后的策略和学习经验存入缓存区；用根据个体奖励优化得到的策略向量替换掉当前种群中最差的向量；重复上述步骤，更新种群和迭代次数，直至迭代次数达到设定次数，结束循环，得到最终的进化种群，并根据代价值找出最优向量。本发明对多智能体种群进行进化，最大化稀疏的团队奖励，同时通过构建基于梯度的优化训练个体策略，最大化密集的个体奖励。

技术领域

本发明涉及的人工智能技术领域，尤其是一种基于策略迁移的多智能体协同进化方法，通过优化团队奖励实现团队协作目标,同时利用个体奖励激励单Agent学习基本技能，再将单Agent学习到的基本技能周期性地加入进化种群，使得差分进化算法能够利用通过特定个体奖励学到的技能来优化全局目标。

背景技术

强化学习(reinforcement learning，RL)是机器学习的研究方向之一，其核心思想是通过智能体(Agent)与环境的不断交互，以最大化累计回报为目标，选择合理的行动。目前，主要的强化学习研究方法分为三类：基于值函数的强化学习方法、基于策略搜索的强化学习方法和基于环境建模的强化学习方法。

面对大规模复杂背景下的决策问题时，单Agent系统无法实现多个决策者之间存在的相互协作或竞争关系。多智能体系统(multi-agent system，MAS)通过研究单个Agent之间的协同和交互问题，解决复杂实时动态多智能体环境下的任务调度、资源分配、行为协调以及冲突消解等协同问题。多智能体强化学习(multi-agent reinforcement learning，MARL)是当前AI领域的研究热点。

MARL算法主要可以分为四类：基于行为分析的方法，如自我博弈(self-play)等；基于通信的方法，如RIAL(reinforced inter-agent learning)、CommNet等；基于合作的方法，如多智能体深度确定性策略梯度算法(Multi-Agent Deep Deterministic PolicyGradient,MADDPG)等；基于对手建模的方法，如M3DDPG(Minimax MADDPG)等。

在MAS中，环境通常会给予智能体两种奖励：基于群体协作目标的团队奖励、基于单个Agent基本技能的个体奖励。在复杂的多智能体环境下，个体奖励比较密集，容易学习，而团队奖励需要通过多个Agent之间的合作产生，通常比较稀疏。现有的方法，如MADDPG，只优化个体奖励而忽略团队奖励，会导致生成的策略难以高效完成团队协作目标。而只优化团队奖励，忽略个体奖励，由于团队奖励的稀疏性，会导致训练失败或者面对复杂任务时样本无效。通常解决上述问题的方法是奖励设计，但在复杂的环境下设计奖励十分困难，并且依赖特定环境和任务，需要手动调优，复用性差。

发明内容

本发明针对上述问题，提出了一种基于策略迁移的多智能体协同进化方法，本发明对多智能体种群进行进化，最大化稀疏的团队奖励，同时通过构建基于梯度的优化训练个体策略，最大化密集的个体奖励。基于梯度的策略被周期性地加入进化种群中，参与进化；不需要设计复杂的奖励函数，不依赖特定环境和任务，不需要手动调优，复用性好，可以通过分别直接优化团队奖励和个体奖励达到协同进化的效果。

本发明提供如下技术方案：一种基于策略迁移的多智能体协同进化方法，包括如下步骤：初始化，将每个多智能体集合为一个向量，种群包含多个向量；对种群中的向量进行变异和交叉，获得更新的种群；获得更新的种群中的每个向量的代价值，并将更新后的种群学习经验存入缓存区；对缓存区的向量进行策略搜索，然后将更新后的策略和学习经验存入缓存区；用根据个体奖励优化得到的策略向量替换掉当前种群中最差的向量；重复上述步骤，更新种群和迭代次数，直至迭代次数达到设定迭代次数，结束循环，得到最终的进化种群，并根据代价值找出最优向量，既最佳策略。