[发明专利]一种5G超密集组网资源分配方法及装置

说明书

本发明实施例提供了一种5G超密集组网资源分配方法及装置，方法包括：针对每个时刻的5G超密集组网系统状态，基于贪婪策略进行决策，计算每个状态对应的即时奖励；将所述每个状态对应的即时奖励输入深度神经网络中，拟合得到近似长期价值；将所述近似长期价值和实际长期价值对比，以更新长期价值函数；当所述长期价值函数收敛时，得到每个时刻的资源分配方案，并按照所述每个时刻的资源分配方案进行资源分配。本发明实施例提供的一种5G超密集组网资源分配方法及装置，基于深度强化学习来解决随机优化问题，从而使得资源的分配能够适应用户到达和离开的随机性，并且同时降低了求解复杂性。

技术领域

本发明涉及5G超密集组网和强化学习技术领域，尤其涉及一种5G超密集组网资源分配方法及装置。

背景技术

随着移动互联网和物联网技术的快速发展，对移动通信业务的需求也在迅速增长。智能设备的通信需求和海量物联网环境促进了网络基础设施的密集化。超密集网络UDN应运而生，将成为5G网络的关键技术。在UDN架构中，单元的半径会进一步减小，导致单元之间的干扰增加。此外，随着网络环境的变化，系统的性能要求也可能发生变化。因此，网络资源配置应考虑与环境的交互作用，并且由于用户设备在空间和时间上的不均匀性，使得UDN的资源管理更加困难。

现有的组网资源分配方法不能很好适应用户到达和离开的高度动态性并且现有方法的求解复杂度较高，导致其无法很好满足应用的服务质量要求并在实际环境中难以实施。

因此，现在亟需一种新的5G超密集组网资源分配方法来解决上述问题。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种5G超密集组网资源分配方法及装置。

第一方面本发明实施例提供一种5G超密集组网资源分配方法，包括：

针对每个时刻的5G超密集组网系统状态，基于贪婪策略进行决策，计算每个状态对应的即时奖励；

将所述每个状态对应的即时奖励输入深度神经网络中，拟合得到近似长期价值；

将所述近似长期价值和实际长期价值对比，以更新长期价值函数；

当所述长期价值函数收敛时，得到每个时刻的资源分配方案，并按照所述每个时刻的资源分配方案进行资源分配。

其中，所述5G超密集组网系统包括：

多个小小区组成的宏小区，所述宏小区包括一个宏基站，每个小小区包括一个小基站。

其中，所述即时奖励的计算函数为：

其中，r_t为即时奖励，为5G超密集组网系统的能量效率，为5G超密集组网系统的频谱效率，ξ^(t)为能量效率与频谱效率之间的权衡因子。

其中，所述长期价值函数为：

Q(s_t,a_t)＝(1-α)Q(s_t,a_t)+α[r_t+γmaxQ(s_t+1,a_t+1)]；

其中，α表示学习效率，γ表示折扣因子，s_t表示t时刻系统的状态，表示所述宏基站在t时刻做出的决策。

其中，所述方法还包括：

获取每个时刻的5G超密集组网系统的系统状态，所述系统状态包括每个小小区的用户数量、每个小基站的吞吐量以及资源块的复用情况。

其中，所述将所述每个状态对应的即时奖励输入深度神经网络中，拟合得到近似长期价值，包括：