[发明专利]基于内在动机的多智能体稀疏奖励环境协作探索方法

权利要求书

1.一种基于内在动机的多智能体稀疏奖励环境协作探索方法，其特征在于，该方法具体包括以下步骤：

步骤1、初始化目标策略该策略用于学习完成目标任务；同时初始化探索策略该策略用于在环境中进行充分探索；其中，π表示智能体的当前策略，n为智能体数量；

步骤2、构建人工势场函数，通过在环境中构建一个人工势场，引导探索策略在环境中根据人工势场中的势能进行探索，对于未探索充分区域加强探索，从而得到成功的经验，引导目标策略进行学习；

步骤3、进行势能影响的分配，具体处理如下：

利用反事实基线方法，用如下公式计算得到智能体a的优势函数，如下式所示：

其中，u^a为智能体a的动作，u^-a为其他智能体的联合动作，π表示智能体a的当前策略，A^a表示智能体a在当前策略π下，采取动作u^a相比于采取其他动作对受势能影响的大小，A^a越大，表示智能体a的当前动作u^a和其他动作相比受势能影响程度越大，反之亦然。接着对每个智能体i都计算其对应的Aⁱ，并通过softmax操作得到智能体内在受势能影响的占比：

设智能体i每个时间步t的奖励为如下式所示：

步骤4、利用人工势场影响更新探索策略，即利用经过信度分配的人工势场强度影响引导探索策略进行探索，加快对环境空间的探索，利用成功经验信号引导目标策略学习。

2.如权利要求1所述的基于注意力机制与强化学习的多智能体游戏AI设计方法，其特征在于，所述步骤2进一步包括以下处理：

步骤2.1、进行探索充分性度量，具体处理如下：

将协作式多智能体探索任务建模为分布式局部观测的马尔可夫决策过程(Dec-POMDP)，如下式所示：

S，U，P，r，O，Z，n，γ

其中，S表示智能体的全局状态集合，U表示智能体的联合动作集合，P表示转移函数，r为全局奖励函数，O表示智能体的局部观测集合，Z表示初始全局状态分布，n表示智能体数量，γ表示强化学习中的奖赏折扣因子；

用计数器Counter C(S_t，u_t)表示在整个训练过程中多智能体系统在联合状态为S_t下采取联合动作为u_t的次数；

步骤2.2、距离测算网络训练

在多智能体环境中，通过一个距离测算网络来衡量两个状态之间的距离，距离测算网络输入为全局状态S_t和联合动作u_t，输出为一个值，用于衡量两个状态之间的距离；

距离测算公式如下：

dis＝||f(s_t+1，u_t+1)-f(s_t，u_t)||²

其中，f()表示拟合函数，dis表示两个状态之间的距离；

步骤2.3、构建人工势场，具体处理如下：

从数据池中采样一批数据，将Counter最少的状态-动作对作为目标状态(s，u)_goal，

采样分段引力势能，引力势能如下式所示：

其中，d((s，u)，(s，u)_goal)表示当前状态与目标的距离，表示超参数，当两者距离小于或等于时，引力势能表现为平方形式，否则，降低引力势能的大小。