[发明专利]一种多代理强化学习合作任务下的奖励函数建模方法

权利要求书

1.一种多代理强化学习合作任务下的奖励函数建模方法，其特征在于，包括：

每个代理独立观测环境状态，输入各自的价值网络，得到各候选动作的价值估计，选择拥有最大价值估计的动作作为当前动作决策；

在模拟环境执行各代理的动作，得到每个代理各自的环境反馈奖励；

将各代理之间的交互建模为一张无向图，作为全局奖励信息的特征描述；

使用此图计算分别对每个代理计算全局奖励估计值；对每个代理各自的估计值进行加权求和计算全局奖励；

使用计算得到的全局奖励计算价值函数的目标值，计算时序差分误差，为训练各代理的价值网络提供梯度信息；

其中，建模出的无向图能够对多个代理与环境交互后的结果进行整合，同时能够起到对各代理进行可信度赋值的效果，给训练算法提供更加精准的奖励描述。

2.如权利要求1所述的方法，其特征在于，

所述的无向图是通过设置各代理为图中节点，以各代理之间的距离作为边的权重进行构造；同时，设置超参数对代理观测的最大距离加以限制，仅在指定范围内的其他代理才会和当前代理添加有权边；根据具体场景和问题，设置此超参数等价于忽略范围外的代理的影响，从而减轻具体实施时的计算压力。

3.如权利要求1所述方法，其特征在于，

所述的全局奖励计算具体为：以各代理为中心，对其他代理计算对应的奖励权重，以跳数为度量指标，距离越远的代理权重越小，使用所计算得到的权重对其他代理的环境反馈进行加权求和，得到当前代理的全局奖励估计；对所有代理的全局奖励估计进行加权求和，作为训练用全局奖励估计。