[发明专利]一种基于策略迁移的多智能体协同进化方法

权利要求书

1.一种基于策略迁移的多智能体协同进化方法，其特征在于包括如下步骤：

初始化，将每个多智能体集合为一个向量，种群包含多个向量；

对种群中的向量进行变异和交叉，获得更新的种群；

获得更新的种群中的每个向量的代价值，并将更新后的种群学习经验存入缓存区；

对缓存区的向量进行策略搜索，然后将更新后的策略和学习经验存入缓存区；

用根据个体奖励优化得到的策略向量替换掉当前种群中最差的向量；

重复上述步骤，更新种群和迭代次数，直至迭代次数达到设定迭代次数，结束循环，得到最终的进化种群，并根据代价值找出最优向量，既最佳策略。

2.根据权利要求1所述的基于策略迁移的多智能体协同进化方法，其特征在于，

初始化时，定义一个多智能体集合为一个向量，一个种群包含P个向量，每个向量包含K个Agent，向量表示为X_i，G，Agent表示为X_ij，G；其中，G表示当前种群的代数，i表示种群中的第i个向量，j表示向量中的第j个Agent，i＝{1，2，...，P}，j＝{1，2，...，K}；定义Agent状态集S和动作集A；

初始化种群，设定种群中向量的界限为假设所有的随机初始种群都满足均匀概率分布的特点，初始种群的方法为：

其中，G＝0，i＝{1，2，...，N}，j＝{1，2，...，K}，rand[0，1]表示取[0，1]之间的随机数。

3.根据权利要求2所述的基于策略迁移的多智能体协同进化方法，其特征在于，

定义代价函数F，根据任务及团队奖励定义种群中向量的代价函数F；根据代价函数F，计算当前种群中每个向量的代价值f(X_i，o)。

4.根据权利要求3所述的基于策略迁移的多智能体协同进化方法，其特征是在于，

进行变异时，

变异后的向量成为尝试向量，可以表示为：

V_i，G＝X_i，G+F*(X_r1，G-X_r2，G)

其中，V_i，G表示变异向量，X_i，G表示目标向量，X_i，G是当前种群中代价值f(X_i，G)最大的向量，{r1，r2}是从{1，2，...，P}中随机选出的两个互不相同的整数；F表示变异算子，为[0，2]范围内的随机常数，用于控制变量的放大和缩小偏差；

5.根据权利要求4所述的基于策略迁移的多智能体协同进化方法，其特征是在于，

用DE/rand/1的变异策略，其中rand表示参与变异操作过程中的扰动向量是随机选择的，或者变异策略选择最优或最差的向量作为扰动向量，1表示变异向量规模为1，变异向量规模根据任务以及多智能体集合大小设定。

6.根据权利要求4所述的基于策略迁移的多智能体协同进化方法，其特征是在于，

交叉时，采用基于二项式的交叉策略；U_i，G表示尝试向量，rand[0，1]表示取[0，1]之间满足均匀分布的随机数，CR为交叉概率，CR在[0，1]范围内取值，可以根据实际任务调节；j_rand为1到D之间的一个随机整数，用于保证尝试向量和当前个体表示的向量不是同一个值；

7.根据权利要求6所述的基于策略迁移的多智能体协同进化方法，其特征是在于，

获得更新的种群中的每个向量的代价值时，根据种群中向量的代价函数F，计算当前种群中每个向量的代价值f，i＝{1，2，...，P}；基于贪婪选择的方法，根据尝试目标向量X_i，G和尝试向量U_i，G的目标函数值来确定进入下一代种群的个体：

X_i，G+1表示进入下一代种群的向量，

将更新后的种群学习经验存入缓存区R。