[发明专利]一种用于认知无线电的多智能体协作频谱感知与接入方法

说明书

本发明公开了一种用于认知无线电的多智能体协作频谱感知与接入方法，包括：步骤S101：获取每一个SU_n在当前时间帧开始时的环境参数；步骤S102：将所述每一个SU_n在当前时间帧开始时的所述环境参数输入确定性策略深度梯度MADDPG模型；步骤S103：获取所述MADDPG模型输出的每一个SU_n在当前时间帧的感知策略，其中所述感知策略是选择某一个信道检测是否空闲；步骤S104：将SUn的感知结果及其合作伙伴的感知结果融合成全局状态S(t)，再把全局状态S(t)与全局动作A(t)、奖励r(t)和下一时刻状态S(t+1)送到确定性策略深度梯度MADDPG模型的经验重放缓冲区；将所述全局状态S(t)作为下一时刻的观测，如此循环往复，直到训练步数结束。解决了SU如何快速找到空闲信道的同时避免与其他用户碰撞的问题。

技术领域

本发明属于物联网通信技术领域，具体涉及一种用于认知无线电的多智能体协作频谱感知与接入方法。

背景技术

随着无线通信技术的发展和无线多媒体应用的增加，无线频谱成为越来越紧张的资源，研究表明，现有的频谱管理与分配策略是造成频谱资源紧缺的主要原因之一。认知无线电的出现，为缓解频谱资源不足、实现频谱动态管理及提高频谱利用率开创了崭新的局面。

认知无线电，广义来说是指无线电终端具备足够的智能和认知能力，通过对周围无线环境的历史和当前状况进行检测、分析、学习、推理和规划，利用相应的结果，选择合适的频段进行传输。

认知无线电由两种用户组成，一种是主要用户(Primary Users):随时占用任意频带传输信息；另一种是次要用户(Secondary Users):感知频谱“空洞”，在主要用户不占用该频段时，使用该频段进行传输。认知无线电网络通过识别和探索授权主用户的频谱空洞，可以大大提高临时和空间频谱利用率。然而，由于主信道的占用是动态变化的，快速和准确的频谱感知是至关重要的。

多智能体系统是一种全新的分布式计算技术。在多智能体系统中，每个智能体通过与环境进行交互获取奖励值(reward)来学习改善自己的策略，从而获得该环境下最优策略的过程就多智能体强化学习。在单智能体强化学习中，智能体所在的环境是稳定不变的，但是在多智能体强化学习中，环境是复杂的、动态的。

在多智能体系统中，至少存在两个以上的智能体，智能体之间存在一定的关系，如合作关系、竞争关系或者同时存在合作与竞争关系。本发明实例中智能体之间既相互合作，共享感知结果，又相互竞争，即竞争频谱资源，存在接入碰撞问题。在多智能体系统中，每个智能体获得的回报不仅与自身动作有关，还与其他智能体的动作有关系，即智能体之间相互影响。

一般情况下，当一个智能体，即次要用户SU有呼入需求时，它会按顺序扫描所有信道，直至检测到一个空闲信道或者失败，这种信道感知和接入方法会造成一定的传输延迟和频谱利用率低等问题。由于衰落和阴影效应等的影响，每个 SU在一个时隙只能检测一个信道，当通信网络中信道数目多于SU数目时，此种检测方式效率较低，同时极大地降低频谱利用率。

发明内容

本发明的目的是提供一种用于认知无线电的多智能体协作频谱感知与接入方法，以解决SU如何快速找到空闲信道的同时避免与其他用户碰撞的问题。

本发明采用以下技术方案：一种用于认知无线电的多智能体协作频谱感知与接入方法，基于一认知无线电网络，所述认知无线电网络中有M个主要用户 PU、N个次要用户SU，N_fb个正交信道，PU的发射功率固定为P，信道噪声为加性高斯白噪声；

所述感知与接入方法包括：

步骤S101：获取所述N个SU中每一个SU_n在当前时间帧开始时的环境参数，其中所述n＝1，2，…，N，所述环境参数包括所述每一个SU_n的观测S_n；