[发明专利]基于稀疏注意力机制的多智能体强化学习方法及系统

权利要求书

1.一种基于稀疏注意力机制的多智能体强化学习方法，其特征在于，所述方法包括以下步骤：

步骤一：初始化每个智能体的策略网络参数、中心化Q₁值网络参数以及中心化Q₂值网络参数，初始化经验回放缓存；

步骤二：重置多智能体环境，每个智能体得到初始观察o_i；

步骤三：每一个智能体根据当前策略以及当前观察，执行策略输出的动作从而得到环境反馈的即时回报，并得到下一个观察o_i′；

步骤四：将步骤二到步骤三收集到的数据存入经验回放缓存中；

步骤五：每一个智能体从经验回放缓存中采样相关训练数据；

步骤六：计算每个智能体与其他所有智能体的注意力权重向量，并由此计算中心化Q₁值以及Q₂值；

步骤七：每个智能体根据上述结果更新步骤一中所有参数；

步骤八：重复步骤三到步骤七直到所有智能体均完成目标或达到指定停止条件；

步骤九：重复步骤二到步骤八直到算法收敛或达到指定停止条件。

2.根据权利要求1所述的方法，其特征在于，步骤一、步骤四以及步骤五中，所述经验回放缓存是指：在整个多智能体强化学习算法的训练过程中，为了训练Q值神经网络，需要将每个智能体在环境中收集到的数据保存下来作为训练数据来进行监督学习。

3.根据权利要求1所述的方法，其特征在于，步骤七中，所述所有参数是指：对于每个智能体i，其所有参数包括三部分：策略网络参数、中心化Q₁值网络参数以及中心化Q₂值网络参数；其中，通过采用随机梯度下降算法最小化如下损失函数来更新两个Q值网络的参数：其中代表特定智能体的序号，j∈{1,2}表示两个Q值网络，ψ为网络参数；表示所有智能体的联合策略，以及分别表示所有智能体的联合观察以及联合动作；代表每个智能体在观察o_i执行动作a_i后，获得的环境的即使反馈r_i；γ为折扣因子，α为熵正则项的相对系数；所述策略网络参数通过采用如下梯度并运用随机梯度下降算法进行更新：其中φ为策略网络的参数，为经验回放缓存，多智能体环境下的方差缩减项，用以解决信用分配问题。

4.根据权利要求3所述的方法，其特征在于，步骤六中，所述计算每个智能体与其他所有智能体的注意力权重向量的具体步骤包括：

步骤1：对于某个特定智能体i，从经验回放缓存中采样出某一特定时间步包括自身在内的所有智能体的观察集合以及动作集合其中代表多智能体系统中；

步骤2：将步骤1中属于各个智能体j的观察以及动作组合成观察-动作对(o_j,a_j)并经过编码器得到编码后的特征向量e_j；

步骤3：将智能体i的特征向量e_i与其余所有智能体的特征向量e_j≠i输入到一个带有缩放的双线性函数当中，经过缩放后将输出值作为带有稀疏约束的激活函数η-Sparsemax的输入；

步骤4：将步骤3的结果输入到η-Sparsemax函数中，输出结果即为最终的智能体i与所有其余智能体的注意力权重。

5.根据权利要求4所述的方法，其特征在于，步骤2中，所述编码器是指：假定某个特定智能体j的观察-动作对则编码器E是一个带有非线性激活函数ReLU的一层感知机，即其中d′为编码器输出特征向量的维度，即所述编码器E的具体形式为其中为编码器的参数，为全0列向量。

6.根据权利要求4所述的方法，其特征在于，步骤3中，所述双线性函数是指：对于某个特定智能体i，将所有其余智能体的经过步骤三得到的特征向量组合成一个特征矩阵，记为所述双线性函数的具体形式为