[发明专利]一种基于多智能体强化学习的分布式信道竞争方法

说明书

本发明公开了一种基于多智能体强化学习的分布式信道竞争方法，包括如下步骤：步骤1：构建分布式信道竞争场景，并且构建多智能体强化学习所需的基本元素，包括环境、智能体、状态、动作以及奖励函数；步骤2：构建方法所需多智能体强化学习模型；步骤3：智能体与环境进行交互，令各个智能体构建各自的经验回放集合，用以训练多智能体强化学习模型；步骤4：将训练完成的模型用于分布式信道竞争。其优点在于，实现了一种去中心化的信道竞争策略，不需要像传统网络一样依赖于基础设施；相比于使用分布式随机算法有更好的自适应性；可以进行分布式训练，大幅减少训练时间，有较好的信道使用率以及较为公平的信道使用。

技术领域

本发明属于无线通信领域，特别提供了一种基于多智能体强化学习的分布式信道竞争方法。

背景技术

传统的集中式网络，如蓝牙、蜂窝网和WiFi等，都是通过基站等设施对用户的需求信号进行统一调配处理，耗能较大。虽然在今天这个问题不是很严重，但当物联网时代来临时，方圆几公里内成千上万个传感器聚集在一起，传统网络就无法保障物与物之间的协同通信。

为了缓解集中式网络的压力，本发明提出了一种自适应的分布式信道竞争策略，该策略使用分布式的思想，不再通过基站等设施对用户需求统一分配，而是让用户自身通过感知信道环境，动态地检测和有效地利用信道资源，这种自适应性的分配方式可以作为一种很好的补充通信方式，和蜂窝网、WiFi等共同组成未来的5G网络，为物联网、车联网、智慧城市提供信息基础。

当前国内外有相当多的关于信道竞争的研究，但是大多没有关注去中心化这个点，而是注重于传统网络，依赖于基础网络设施，例如基站和AP。相比之下，采用分布式算法的信道竞争策略较少，在这些分布式算法中，大多采用了随机算法，鲜有与机器学习算法相结合的。而多智能体强化学习的思想与所述的这种分布式信道竞争策略的思想相吻合，将多智能体强化学习运用其中，具有重要的研究意义。

发明内容

为了缓解传统的集中式网络在未来物联网时代的压力，本发明提出了一种自适应性的、高效的、拓展性强的基于多智能体强化学习的分布式信道竞争方法。该方法通过构造多个智能体和仿真环境交互，通过训练，可以用于信道竞争的实际使用。其技术方案为，

一种基于多智能体强化学习的分布式信道竞争方法，包括如下步骤：

步骤1：构建分布式信道竞争场景，并且构建多智能体强化学习所需的基本元素，包括环境、智能体、状态、动作以及奖励函数；

步骤2：构建方法所需多智能体强化学习模型；

步骤3：智能体与环境进行交互，令各个智能体构建各自的经验回放集合，用以训练多智能体强化学习模型；

步骤4：将训练完成的模型用于分布式信道竞争。

进一步优选的，分布式信道竞争场景为：

在一个网络系统中，K个网络接入点共享一个信道，这些网络接入点属于不同的网络结构，彼此之间不通信；将时间分为多个时间片，设定信道在某一时间片内只能被单个网络接入点使用，当某一时间片有多个网络接入点使用时则信道传输失败。

进一步优选的，多智能体强化学习的环境构建过程如下：

构建分布式信道竞争仿真场景作为多智能体强化学习的交互环境，智能体可以获取到上一轮的信道状态，环境会依据智能体的动作，进行模拟，计算出信道状态以及给出各智能体相应的奖励值。

进一步优选的，多智能体强化学习的智能体构建过程如下：

构建信道竞争智能体K个，各个智能体通过与环境交互，以此构建经验回放集合，不断从中选取批次用于训练；每个智能体只能观测到公共的信道状态以及自身的状态，各智能体之间无法进行信息交互，在没有信息交流的情况下，共同实现较为公平的基于多智能体强化学习的分布式信道竞争。