[发明专利]一种高样本效率的多智能体强化学习训练方法

权利要求书

1.一种高样本效率的多智能体强化学习训练方法，其特征在于，包括以下步骤：

(1)构建多智能体系统，所述的多智能体系统由多智能体强化学习模型控制，多智能体系统包括多个同构智能体；

(2)收集多个训练样本并存储到容器中；所述的训练样本为多智能体系统与环境进行一次互动产生的四元组e＝(s,a.r,s′)，其中s表示所有智能体当前时刻的状态，a表示所有智能体的动作，r表示所有智能体做出上述动作后从环境得到的回报值，s′表示所有智能体下一时刻的状态；

(3)在训练模型时，从存储的容器中抽取训练样本，使用经验增强方法对抽取的训练样本进行数据预处理，得到扩增数据；

(4)采用策略延迟更新的方式训练模型，在更新模型的执行者网络、评价者网络和目标网络时，先更新评价者网络n×d次，再更新执行者网络n次，最后更新目标网络n次；

(5)使用最大动作熵和函数平滑的目标函数来训练模型中的策略函数和评价函数；

(6)训练完毕后，将训练得到的执行者网络作为策略模型；将部署到多智能体系统当中，由策略模型来自主控制多智能体系统中每个智能体完成策略模型训练场景中定义的任务。

2.根据权利要求1所述的高样本效率的多智能体强化学习系统训练方法，其特征在于，步骤(2)中，通过平行执行多个环境来加速数据搜集；每个平行环境中包含一个由相同多智能体强化学习模型控制的多智能体系统，在每一时刻，每个平行环境中该多智能体系统通过与环境的交互产生一个训练数据

3.根据权利要求2所述的高样本效率的多智能体强化学习系统训练方法，其特征在于，平行执行多个环境的手段包括但不限于多线程、多进程和多计算机异步执行方式。

4.根据权利要求1所述的高样本效率的多智能体强化学习系统训练方法，其特征在于，步骤(3)中，进行数据预处理的具体过程为：

(3-1)获取需要训练的智能体的序号i和一个小批量的训练数据

(3-2)根据对多智能体系统的先验知识，找到可置换的智能体；

(3-3)根据步骤(2-2)找到的所有可置换智能体，建立置换矩阵集P；

(3-4)从置换矩阵集P中任意选取一个置换矩阵P_k，左乘训练数据得到新的训练数据

(3-5)返回训练i号智能体所需的数据，即。

5.根据权利要求4所述的高样本效率的多智能体强化学习系统训练方法，其特征在于，步骤(3-2)中，可置换的智能体之间需要满足以下条件：

可置换的智能体之间需要同构，具有相同的物理属性、奖励函数、状态空间s和动作空间a；可置换智能体的状态空间s不能包含智能体的特定序号。

6.根据权利要求1所述的高样本效率的多智能体强化学习训练方法，其特征在于，步骤(4)中，更新评价者网络和执行者网络采用梯度下降法更新；目标网络更新时直接复制前两种网络参数的方式，或者采用移动平均逼近前两种网络参数的方式。

7.根据权利要求1所述的高样本效率的多智能体强化学习训练方法，其特征在于，步骤(5)中，训练策略函数时，原始策略函数的目标函数为J(x)，在该目标的基础上添加了最大化动作熵的目标项；将目标函数变为J’(x)＝J(x)+a*H(p)，其中，a是一个预设的温度系数，p是策略函数输出的动作的概率分布，H(p)是由该概率分布计算得到的信息熵。

8.根据权利要求1所述的高样本效率的多智能体强化学习训练方法，其特征在于，步骤(5)中，训练评价函数时，原始评价函数的损失函数为g(x)，在该目标的基础上添加了包括Lp正则化、目标平滑的目标项；具体的，对于Lp正则化，损失函数变为g’(x)＝g(x)+||W||p，其中||W||p为模型参数的p阶范数；对于目标平滑，损失函数变为g’(x)＝g(x+N)，其中N为一个细小的随机噪声。