[发明专利]基于增强学习的5G网络切片资源分配方法

说明书

本发明涉及一种基于增强学习的5G网络切片资源分配方法，包括以下步骤：通过考虑未来网络切片中的业务流量变化情况，对业务流量进行预测，从而推断出未来网络资源的划分情况；再通过增强学习算法，使得未来时刻的网络资源划分状态对当前划分策略做出影响，从而得到当前的最佳策略，可满足5G网络资源高效分配的需求。

技术领域

本发明涉及一种基于增强学习的5G网络切片资源分配方法，可以应用于网络资源分配领域，通过对5G网络3大主要应用场景对资源需求的研究，提出一种高效的资源分配方法从而提高整体的资源利用率和用户体验。

背景技术

为了在不单独铺设专用网络的情况下对各种业务提供独立的网络服务，5G网络引入了网络切片技术，该技术将物理基础设施资源虚拟化为多个相互独立的平行的网络切片，每个网络切片服务于某一具体的业务场景，以满足不同业务场景对带宽、时延、服务质量等差异化要求，从而满足各种垂直行业多样化需求，以增强网络弹性和自适应性。网络切片技术提升了网络资源利用率，节省了运营商的花费。

网络切片意味着对运营商的新兴业务，并允许他们以不同的价格向各个租户出售定制的网络切片。然而，为了提供性能更好且更具成本效益的服务，网络切片涉及更具挑战性的技术问题，因为(a)对于无线电接入网络，频谱是稀缺资源，并且保证频谱效率(SE)是有意义的，而对于核心网络，虚拟化功能也受到计算资源的限制；(b)与切片租户签订的服务水平协议(SLA)通常对用户所感知的体验质量(QoE)提出严格要求；(c)每个切片的实际需求在很大程度上取决于移动用户的请求模式。因此，在5G时代，研究如何智能地响应来自移动用户的服务请求动态至关重要，以便以可接受的频谱或计算资源为代价在每个切片中获得令人满意的QoE。

为了解决上述问题，受到动物学习心理学的启发，强化学习(RL)算法中的学习代理侧重于如何通过尝试替代行为与环境进行交互，并强化倾向行为产生更多有益的后果。此外，强化学习还包含最优控制理论，并采用价值函数和动态规划等思想。根据这一想法，本申请提出了一种基于增强学习的动态优化网络切片资源方案。

发明内容

本发明的目的是：利用基于增强学习的5G网络切片资源分配方法对5G核心网(CN)网络资源进行优化分配，实现最大化资源利用率和用户体验。

为了达到上述目的，本发明的技术方案是提供了一种基于增强学习的5G网络切片资源分配方法，其特征在于，包括以下步骤：

步骤1、将5G网络的各链路和网络节点的资源划分链路资源片和网络节点资源片；

步骤2、维护描述核心网的链路状态的链路资源划分矩阵A_m×n和描述核心网的节点状态的节点资源划分矩阵B_k×n，某一时刻的链路资源划分矩阵A_m×n即为当前时刻的链路状态，某一时刻的节点资源划分矩阵B_k×n即为当前时刻的节点状态；

步骤3、根据关心的5G网络的指标定义链路效用函数V_l和网络节点效用函数V_n，从而得到总效用函数V_t＝V_l+V_n，设关心未来T个时刻5G网络状态对当前决策的影响，则定义需要最大化的目标函数V_sum为：

式中，V_tk表示未来第k个时刻的总效用函数，γ^k表示未来第k个时刻的总效用函数的折合率；

步骤4、设需要优化的为t₀时刻，t₀时刻的链路状态为S_l、网络节点状态为S_n，获取t₀时刻前一端时间长度内的历史数据信息，基于过去一段时间内5G网络中的数据请求情况，预测未来各离散时刻下每条链路中各类业务包的流量情况；