[发明专利]一种异构网络中基于强化学习的资源分配和功率控制联合优化方法

说明书

本发明属于无线通信技术领域，具体涉及一种异构网络中基于强化学习的资源分配和功率控制联合优化方法。针对传输信道和传输功率等因素的动态和时变特性，在考虑异构网络中用户的自私性和运营商利益的前提下，在建立异构蜂窝网络系统模型基础上，通过建立多智能体强化学习框架，结合用户满意度和运营商追求利益的条件，利用分布式Q学习方法，获得最优的资源分配、用户关联和功率控制联合策略，从而实现整个网络的长期系统效用的最大化。

技术领域

本发明属于无线通信技术领域，具体涉及一种异构网络中基于强化学习的资源分配和功率控制联合优化方法。

背景技术

随着无线设备的迅猛发展和人们对无线业务需求的不断增大，蜂窝网络面临着日益增长的网络容量需求的巨大挑战。通过在宏基站(Macro Base Station，MBS)中部署多个具有不同发射功率、覆盖范围的家庭基站(Femto Base Station，FBS)，不仅可以降低通信负载和运营商的成本，而且可使用与MBS相同的无线频率以提高无线频谱的利用率。因此，异构蜂窝网络有望改善下一代蜂窝网络的系统容量和资源利用率。

异构蜂窝网络存在着一些性能瓶颈，如用户关联、资源分配和功率控制问题。现有研究大多单独地考虑上述优化问题。同时，由于联合优化问题的非凸性和组合特性，获得全局最优策略非常困难。现有文献提出了博弈论、线性规划、马尔科夫近似等优化方法，但这些优化方法大多需要几乎所有的网络信息，然而，一般来说，这些信息很难获得。因此，本方法提出基于强化学习的异构蜂窝网络资源分配和功率控制联合优化方法。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提出一种异构网络中基于强化学习的资源分配和功率控制联合优化方法。

为了达到上述目的，本发明所采用的技术方案是：一种异构网络中基于强化学习的资源分配和功率控制联合优化方法，其特征在于，所述方法包括如下步骤：

针对传输信道和传输功率等因素的动态和时变特性，在考虑到异构网络中用户的自私性和运营商的利益性的前提下，在建立异构蜂窝网络系统模型基础上，通过提出多智能体强化学习优化策略，结合用户满意度(Quality of service，Qos)和运营商追求利益的条件，利用分布式Q学习方法，获得最优的资源分配、用户关联和功率控制联合策略，从而实现整个网络长期系统效用的最大化。

进一步地，所述建立异构蜂窝网络系统模型实现过程包括：考虑由MBS、FBS和用户设备组成的两层异构蜂窝网络，假设某一个MBS信号覆盖范围内存在L个FBSs，即FBS₁,...,FBS_L，于是，所有基站可表示为BS＝{MBS,FBS₁,...,FBS_L}，假设所有的基站和N个UEs都只有一个通信天线，BS可以在K个信道上工作；

对于任意一个UE，定义二元信道分配变量为：

其中，在时间t，如果第i个UE使用信道C_k，则否则虽然使用相同信道的UEs数量是不限的，但是UE每次只能选择一个信道。因此，对于每一个UE，有

此外，定义二元联合基站变量：

其中，在时间t，如果第i个用户连接到第l个基站，则否则，考虑到每个UE只能接入一个基站，对于每一个UE，有

假设在时间t时第i个UE使用信道C_k连接BS_L的传输功率为由于FBSs被部署在MBS的无线电覆盖范围内，于是，第i个UE处的瞬时信号干扰比(Signal to Interference Plus Noise Ratio，SINR)为：