[发明专利]一种基于分布式A-C的智能接入控制与资源分配方法

权利要求书

1.一种基于分布式A-C的智能接入控制与资源分配方法，其特征在于：该方法包括以下步骤：

S1：针对无线接入网RAN网络下网络切片的智能资源动态分配优化问题，综合考虑用户数据隐私、接入控制与资源分配，建立基于eMBB切片用户传输速率最大化和URLLC切片用户时延最小化的接入控制与资源分配的网络切片模型；

S2：针对用户数据隐私，单个用户数据不具代表性，将联邦学习和强化学习融合，构建联邦强化学习框架；

S3：将针对联邦强化学习中单个用户建立的接入控制与资源分配过程转化为具有连续状态和动作空间的马尔可夫决策过程MDP；

S4：针对建立的MDP中状态、动作空间连续，且状态转移概率未知，采用结合值函数和策略函数的A-C学习与环境不断进行交互，且各个智能体间相互协作学习，动态调整网络切片的接入控制与资源分配方法，联合优化eMBB切片用户的传输速率和URLLC切片用户的时延；

网络场景中包含单个基站和多个用户，且构建了支持多种异构切片请求服务的eMBB和URLLC两种类型的切片，且接入切片中的用户类型有设备和基站之间进行通信的用户CUEs、设备和设备D2D之间通信的用户DUEs，考虑DUEs用户由URLLC切片为其提供服务；

用集合表示网络中总的物理资源块RB集合，N表示总的RBs数量；系统中总的eMBB切片用户集合表示为URLLC切片服务的CUEs用户集合用表示，且URLLC切片中的DUEs用户集合表示为进一步，令用和分别表示用户C^e-UE和C^u-UE到基站的信道增益，用g_k表示D^u-UE用户的信道增益；用表示第k个D^u-UE用户对第l个C^u-UE用户产生的干扰信道增益，g_l,k表示第l个C^u-UE用户对第k个D^u-UE用户产生干扰信道增益；表示第m个C^e-UE在时隙t占用第n个RB的瞬时传输功率，且有表示第m个C^e-UE用户在时隙t的队列积压长度，用表示eMBB切片中的用户的最大队列长度；和分别表示第l个C^u-UE和第k个D^u-UE用户在时隙t占用第n个RB的传输功率，且有

用户的接入控制与资源分配方法包含两部分内容：第一部分各个切片中的用户选择接入的业务量，即根据当前用户的队列长度和数据包到达率确定接入切片的业务量；第二部分根据各个切片中的业务请求队列和用户性能需求进行资源分配，其中包括每个用户的RBs的分配以及功率分配，对于URLLC切片中还需考虑C^u-UE用户和D^u-UE用户间RBs资源的复用情况；具体定义如下：

对于eMBB切片中的C^e-UE，用二进制变量表示在时隙t将第n个RB分配给第m个C^e-UE，如果执行了分配动作，反之则不分配，同理令为第m个C^e-UE用户在时隙t的业务到达量，且有其中表示C^e-UE用户的随机业务到达量阈值，表示第m个C^e-UE用户在时隙t允许接入的数据量，表示第m个C^e-UE用户在时隙t的队列积压长度，用表示eMBB切片中的用户的最大队列长度，σ²是噪声功率，并且假设所有的用户有相同的噪声功率；令表示第m个C^e-UE用户占用第n个RBs的瞬时下行链路传输速率，eMBB切片中的第m个C^e-UE获得的最大下行链路传输速率为求得eMBB切片中某一用户的平均传输速率为为后续处理，对eMBB切片中用户的传输速率进行归一化处理，eMBB切片中传输和速率为

对于URLLC切片中的用户用二进制变量表示在时隙t把第n个RB分别分配给第l个C^u-UE用户和第k个D^u-UE用户，令和为第l个C^u-UE和第k个D^u-UE用户的业务到达量，且有和且和用表示第l个C^u-UE和第k个D^u-UE用户在时隙t上的队列积压长度，用和分别表示URLLC切片中的C^u-UE和D^u-UE的最大队列长度，和分别表示第l个C^u-UE用户和第k个D^u-UE用户在时隙t允许接入的数据量；和表示第l个C^u-UE和第k个D^u-UE用户的平均传输速率，和分别表示第l个C^u-UE和第k个D^u-UE用户的平均队列长度，URLLC切片中用户的平均时延进行归一化处理，则URLLC切片中C^u-UE和D^u-UE用户的时延奖励表示为

令R^e,req表示eMBB切片用户的传输速率阈值，对C^e-UE的传输速率性能需求为：和分别表示C^u-UE和D^u-UE用户的时延阈值概率；从而URLLC切片中的C^u-UE和D^u-UE用户的时延约束表示为：和分别表示URLLC切片中C^u-UE和D^u-UE用户的传输速率阈值，和是C^u-UE和D^u-UE用户能接受的最大中断概率；URLLC的可靠性需求约束表示为：

以联合优化eMBB切片用户传输速率和URLLC切片用户时延为目标的流量接入控制、物理资源块、功率分配、物理资源块复用采用如下目标函数：

s.t.

其中，