[发明专利]一种强化学习多代理合作任务下的代理贡献分配的方法

权利要求书

1.一种强化学习多代理合作任务下的代理贡献分配的方法，其特征在于，包括：

每个代理独立观测环境状态，输入各自的价值网络，得到各候选动作的价值估计，选择拥有最大价值估计的动作作为当前动作决策；

在模拟环境执行各代理的动作，得到环境反馈的全局奖励信息；

将各代理之间的交互建模为一张无向图，作为给各代理进行贡献分配的特征描述；

使用此无向图分别对每个代理计算贡献分配权重估计，得到每个代理的局部奖励估计；

使用得到的局部奖励估计计算各代理维护的价值函数的目标值，计算时序差分误差，为训练各代理的价值网络提供梯度信息；

其中，建模出的无向图能够对多个代理与环境交互后的奖励结果进行贡献分配，同时能够起到对各代理进行可信度赋值的效果，给训练算法提供更加精准的奖励描述；

所述的无向图通过设置各代理为图中节点，以各代理之间的距离作为边的权重进行构造；同时，设置超参数对代理观测的最大距离加以限制，仅在指定范围内的其他代理才会和当前代理添加有权边；根据具体场景和问题，设置此超参数等价于忽略范围外的代理的影响，从而减轻具体实施时的计算压力；

所述的局部奖励估计具体为：在所述无向图中，以各代理为中心，以可达节点数和距离为指标，分别计算当前代理对影响范围内其他代理的影响估计；汇总各代理影响估计，按量级进行贡献度分配，计算各代理的局部奖励估计，为各代理的策略网络学习提供训练信号。