[发明专利]基于注意力机制的分布式多智能体协同决策方法

摘要

一种基于注意力机制的分布式多智能体协同决策方法，基于注意力机制对分布式多智能体观测信息进行融合，包括局部观测信息编码步骤，基于注意力机制权重计算步骤，注意力(Attention)系数计算步骤，局部观测信息加权求和步骤，注意力信息与位置信息融合步骤和决策概率求解步骤。本发明基于数据驱动的方式，自主发现局部信息的相互关系，并为单智能体构建全局决策信息，将位置信息单独进行处理，能够使得信息更加丰富，有针对性的处理空间位置关系的多智能体系统。

主权项

1.一种基于注意力机制的分布式多智能体协同决策方法，其特征在于：多智能体体系中有N个智能体，第i个智能体的局部观测信息为Q_i，空间位置信息为Location_i，i＝1,2,…,N，可选动作维度为m，第i个智能体的动作决策包括如下步骤：局部观测信息编码步骤S110，对于智能体的局部观测信息Q_i先进行卷积再进行池化，从而得到局部信息编码q_i即，可用如下两个公式表示该步骤，首先进行卷积，q_i＝conv(Q_i)  式(1)然后进行池化，q_i＝pool(q_i)  式(2)；基于注意力机制权重计算步骤S120，在该步骤中基于注意力机制分别计算权重系数，根据第i个智能体的局部观测信息Q_i和所有的N个智能体的之间的N个局部观测信息Q_j,j＝1,2,…,N，利用相似性计算方法计算两者的相似性或者相关性得到权重系数Sim_j,j＝1,2,…,N；注意力(Attention)系数计算步骤S130：根据步骤S120中得到的N个权重系数Sim_j,j＝1,2,…,N，利用Softmax对权重系数Sim_j进行归一化，得到归一化系数α_j,j＝1,2,…,N；局部观测信息加权求和步骤S140：利用归一化系数α_j和每个智能体的局部观测信息编码q_j对局部观测信息进行加权求和，得到第i个智能体的局部观测信息加权和Attention_i，即注意力信息与位置信息融合步骤S150:对局部观测信息加权和Attention_i进行全连接得到注意力信息特征A_i，对位置信息进行融合得到位置信息特征L_i，然后采用向量的方式融合注意力(Attention)信息特征和位置信息特征得到融合特征Z_iAttention信息特征A_i为：A_i＝T*Attention_i,位置信息特征L_i为：L_i＝P*Location_i,其中，T为注意力参数、P为位置参数，注意力(Attention)信息特征和位置信息特征融合方式如下:决策概率求解步骤S160：对融合特征Z_i使用全连接提取特征V_i，即V_i＝H*Z_i，其中H为特征提取参数，对提取后的特征V_i使用softmax进行归一化，求得第j个动作决策概率action_j，