[发明专利]一种无线网络中基于多智能体强化学习的领导人选举方法

说明书

本发明公开了一种无线网络中基于多智能体强化学习的领导人选举方法，包括如下步骤：S1.构建无线网络领导人选举场景，用于与智能体交互；构建领导人选举所需多智能体强化学习模型；S2.对模型进行训练使模型参数最优化；S3.各智能体加载训练好的模型参数，根据模型做出决策，实现领导人选举。其优点在于，采用了多智能体强化学习的方法去解决领导人选举问题，参与领导人选举的各候补节点，彼此之间不需要进行通信，只需要与无线网络环境进行交互，可扩展性强；可以进行分布式训练，减少训练时间；训练出的模型可以很好地保证领导人选举过程的成功。

技术领域

本发明涉及分布式系统领域，尤其是无线网络中基于多智能体强化学习的领导人选举方法。

背景技术

随着物联网的发展，越来越多的智能设备连入网络，传统的集中式系统中单个节点的能力难以满足如此爆炸增长的数据计算以及存储的需求，分布式系统便应运而生。与传统的集中式系统不同的是，分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统动态分配任务，节点的物理以及逻辑资源通过网络进行信息交换，从而实现了对复杂任务的分布式实现。

分布式系统在动态分配任务时，常常要从多个计算机节点中选择一个节点作为统筹管理其它节点的领导者，这种选举出一个节点作为其它节点的领导者的过程被称为领导人选举。领导人选举的方法有很多，常见的如使用Aloha协议来实现领导人选举，但是这些方法大多需要候补节点之间进行信息交流，当节点数量增多时会严重影响方法性能。而多智能体强化学习的理念在分布式系统中有很高的应用潜力，如今并没有较为成熟的基于多智能体强化学习的领导人选举方法，因此，本发明引入了多智能体强化学习方法，来解决领导人选举问题。

发明内容

针对现有技术的不足，本发明提供了一种高效的、可扩展的无线网络中基于多智能体强化学习的领导人选举方法，通过构建多个智能体作为候补节点与仿真无线网络环境交互训练，可以较好的实现领导人选举过程。

一种无线网络中基于多智能体强化学习的领导人选举方法，包括如下步骤：

S1.构建无线网络领导人选举场景，用于与智能体交互；

构建领导人选举所需多智能体强化学习模型；

S2.对模型进行训练使模型参数最优化；

S3.各智能体加载训练好的模型参数，根据模型做出决策，实现领导人选举。

进一步优选的，领导人选举场景为：

在无线网络环境中，存在K个领导人候补节点和一个无线信道，时间被分为多个时间片，各候补节点间彼此无法通信，且信道在某一时间片内只能被单个节点占用；在每个时间片内，各候补节点会对自身的选举概率进行调整，根据调整后的选举概率选择是否参与选举，参与选举的节点会去抢占信道，依据每个时间片内信道的状态，环境会给予各节点反馈，当参与选举的节点数量为1时，即信道被成功占用时，则为选举成功；当没有参与选举的节点或参与选举的节点数量不等于1时，即信道未被成功占用时，此时选举失败。

进一步优选的，多智能体强化学习模型为：

在各个智能体处都构建DDPG强化学习模型，每个智能体都被看作是参与领导人选举的候补节点；

每个智能体的DDPG模型包括四个全连接网络，分别是当前策略网络、目标策略网络、当前评论网络以及目标评论网络；

所述当前策略网络，输入为t时间片的状态，输出为t时间片的动作，及对t时间片的选举概率的增长百分比；

所述目标策略网络，输入为t+1时间片的状态，输出为t+1时间片的动作，及对t+1时间片的选举概率的增长百分比；

所述当前评论网络，输入为t时间片的状态和当前策略网络的输出，输出为对t时间片此状态下采取此动作的价值的评估值；