[发明专利]一种基于联邦学习的频谱资源管理分配方法

说明书

本发明公开了一种基于联邦学习的频谱资源管理分配方法。该方法包括终端设备从环境中收集状态信息；若信息变化超过门限值，则做出信道传输的频谱、子信道和传输功率决策；终端设备收集决策后下一时刻的状态信息和奖励信息，并采用梯度下降法训练主网络中的行动者网络和评论家网络；当终端设备累计梯度达到预设梯度门限值后将其主网络参数上传至基站；基站收集的主网络参数量达到门限值后，根据预设权重将主网络参数聚合并广播给所有终端设备；终端设备接收到聚合参数后更新其主网络和目标网络的参数。本发明为了解决现有技术中频谱利用率低，用户隐私易泄露等问题，采用了异步的联邦学习方式，在解决以上问题的同时还具有通信消耗低的优点。

技术领域

本发明涉及一种频谱资源管理分配方法，尤其涉及一种基于联邦学习的频谱资源管理分配方法。

背景技术

在未来通信网络中，终端设备规模的日益增长和多样化服务类型不断涌现，对网络容量形成巨大压力。即便是使用全频谱，面对庞大的带宽需求，仍然存在挑战。只有充分提升全频谱的利用率，才能有效缓解网络负荷，最大程度满足用户服务质量。然而，相对于现有无线通信系统，全频谱网络频谱资源呈现出差异性和高动态性，而现有的基于数学优化理论的频谱资源管理机制缺乏对可用频谱资源的预测能力，所以难以有效应对。如何适应频谱和业务的动态性、随机性，进而实现适变、高效地使用全频谱资源成为难点。

若采用认知无线电中的单用户感知，容易受到阴影效应、多径衰落以及终端隐蔽的影响，从而导致次级用户的环境感知结果产生偏差。多个次级用户对环境感知的不充分会引起次级用户的决策发生错误，从而导致发生冲突，大大降低频谱利用率。

为此，提出多用户联合感知频谱接入方案，提高频谱利用率。由于数据在真实环境下的分布得十分广泛，使得基站收集这些分散的数据来进行集中式的学习从而完成资源调度不仅需要消耗极大的通信资源，还存在着恶意攻击者可以通过监听次级用户发送的信息推导出次级用户的位置以及通信频段等隐私信息的危险。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于联邦学习的频谱资源管理分配方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于联邦学习的频谱资源管理分配方法，包括以下步骤：

S1、终端设备从环境中收集状态信息；

S2、终端设备判断步骤S1收集的当前时刻状态信息和上一时刻状态信息变化差值是否超过预设差值门限值，若是，执行步骤S3，否则返回步骤S1；

S3、终端设备根据当前状态信息对主网络中的行动者网络信道传输的频谱、子信道和传输功率进行决策；

S4、终端设备收集决策后下一时刻的状态信息和奖励信息，并将当前时刻状态信息、当前时刻动作、下一时刻状态信息和奖励信息组成经验元组，把经验元组放入记忆池；

S5、终端设备利用步骤S4放入记忆池的经验元组采用梯度下降法训练主网络中的行动者网络和评论家网络；

S6、判断终端设备累计梯度是否达到预设梯度门限值，若是，执行步骤S7，否则返回步骤S1；

S7、终端设备将其主网络参数上传至基站；

S8、基站判断其收集的主网络参数量是否达到预设收集门限值，若是，根据设定权重将所有的主网络参数进行聚合并广播给所有终端设备并执行步骤S9，否则继续收集主网络参数；

S9、终端设备根据接收到的聚合参数更新其主网络和目标网络的参数，并返回步骤S1。