[发明专利]一种基于深度强化学习的Femtocell异构网络功率自适应优化方法

说明书

本发明公开了一种基于深度强化学习的Femtocell异构网络功率自适应优化方法。本发明包括如下步骤：步骤S1、建立Femtocell异构网络系统模型，并进行问题建模；步骤S2、将基于Femtocell异构网络的功率自适应优化问题建模成马尔科夫决策过程MDP，设计其状态空间、动作空间以及奖励函数；步骤S3、深度强化学习算法DDPG搭建；步骤S4、模型训练。深度强化学习利用智能体与环境的不断交互，从环境的反馈中进行自我优化，提升自身策略，可快速实现在复杂网络环境中的自适应学习与决策制定，用来求解Femtocell异构网络中的干扰抑制问题。

技术领域

本发明涉及无线通信网络资源自适应优化领域，尤其涉及使用机器学习方法的资源优化方法。

背景技术

随着无线移动通信技术的飞速发展，移动用户以及移动设备的数量正在急剧增加。Femtocell作为一种小型移动基站，或称为家庭基站，以其体积小、即插即用、低成本、低功耗等优点，可实现在信号有效覆盖范围内为室内用户提供高速率的无线信号接入，是解决无线信号室内覆盖问题的重要手段。由传统的Macrocell层和Femtocell层构成Femtocell异构网络。由于频谱资源的稀缺性，往往Macrocell层和Femtocell层部署在同一频段，因此会导致在Femtocell异构网络中产生严重干扰，同时Femtocell基站的大量、随机部署会加剧网间干扰，也使得网络拓扑具有很强的随机特性，因此如何进行有效的干扰抑制是Femtocell异构网络大规模推广使用面临的重要技术难题。

功率资源是重要的无线网络通信资源，功率控制主要是指基站通过反馈得到的网络信息进行发射功率调整，旨在避免发射信号受到严重干扰，通过对发射功率的自适应调整可有效满足网络中移动用户高质量的通信需求，从而达到充分利用网络资源，提升网络性能的目的，功率控制是Femtocell异构网络干扰抑制中最重要的方式。

现阶段针对Femtocell异构网络干扰抑制的研究如凸优化、博弈论等离线迭代优化算法仅仅适用于一些静态网络模型，网络节点难以实现自组织、自优化，同时依赖准确的网络模型，对于无法刻画出准确网络模型的业务通常采用简化方式进行建模，导致优化结果与实际系统用于差别很大。

为了解决上述的问题，经检索，中国专利CN201910909800.8公开了一种基于深度学习的功率分配方法及分配装置，其中方法包括：获取用户的信道矩阵；对信道矩阵进行奇异值分解处理，得到等效信道特征值以及左酉矩阵；基于等效信道特征值以及用户的预设功率限制参数，生成用户的信道特征信息；将信道特征信息输入预先训练好的全连接神经网络模型中，得到用户的数据流数；基于用户的数据流数，等效信道特征值，以及左酉矩阵，构建用户的功率分配协方差矩阵；基于用户的功率分配协方差矩阵，为用户分配传输功率。

再如中国专利CN202110226156.1公开了一种基于深度学习的认知无线电功率控制方法，包括以下步骤：改进传统的WMMSE算法，得到满足主用户可容忍的干扰阈值并保证次用户通信质量的WMMSE算法；将改进的WMMSE算法的输入与输出作为训练集，利用深度学习模型得到主用户和次用户的功率分配。该专利能够保证主用户和次用户的通信质量的同时，还可以大大减少算法时间，提高系统的实时性。

再如中国专利CN202110149569.4公开了一种虚拟无线网络中吞吐量最大化的功率分配方法及装置，该方法应用在虚拟无线网络中，方法步骤如下：首先，针对吞吐量最大化功率分配策略建立一个系统模型，从而找到系统模型中的资源分配问题；其次，基于深度神经网络定义状态集、行动集、奖励三个变量；在定义的状态中，执行定义的行动并获得相应的奖励，从而进入下一个状态；这个周期被重复，直到达到吞吐量最大化的功率分配。

上述的专利均是为了提高网络质量而进行的研究，但仍有待进一步的改进和提升。

发明内容

1.发明要解决的技术问题