[发明专利]基于增强学习的5G网络切片资源分配方法

摘要

本发明涉及一种基于增强学习的5G网络切片资源分配方法，包括以下步骤：通过考虑未来网络切片中的业务流量变化情况，对业务流量进行预测，从而推断出未来网络资源的划分情况；再通过增强学习算法，使得未来时刻的网络资源划分状态对当前划分策略做出影响，从而得到当前的最佳策略，可满足5G网络资源高效分配的需求。

主权项

1.一种基于增强学习的5G网络切片资源分配方法，其特征在于，包括以下步骤：/n步骤1、将5G网络的各链路和网络节点的资源划分链路资源片和网络节点资源片；/n步骤2、维护描述核心网的链路状态的链路资源划分矩阵A_m×n和描述核心网的节点状态的节点资源划分矩阵B_k×n，某一时刻的链路资源划分矩阵A_m×n即为当前时刻的链路状态，某一时刻的节点资源划分矩阵B_k×n即为当前时刻的节点状态；/n步骤3、根据关心的5G网络的指标定义链路效用函数V_l和网络节点效用函数V_n，从而得到总效用函数V_t＝V_l+V_n，设关心未来T个时刻5G网络状态对当前决策的影响，则定义需要最大化的目标函数V_sum为：/n /n式中，V_tk表示未来第k个时刻的总效用函数，γ^k表示未来第k个时刻的总效用函数的折合率；/n步骤4、设需要优化的为t₀时刻，t₀时刻的链路状态为S_l、网络节点状态为S_n，获取t₀时刻前一端时间长度内的历史数据信息，基于过去一段时间内5G网络中的数据请求情况，预测未来各离散时刻下每条链路中各类业务包的流量情况；/n步骤5、得到未来T个时刻的5G网络状态，包括以下步骤：/n设在某一行为下，链路状态和网络节点状态在t₁时刻转移到链路状态S_l和网络节点状态S_n的相邻链路状态S_l'和相邻网络节点状态S_n'，相邻链路状态S_l'和相邻网络节点状态S_n'中的元素是链路状态S_l和网络节点状态S_n中的元素的相邻状态，由于核心网的链路资源往往比节点资源更为丰富，且不同的业务对网络节点的资源需求不同，例如：有的CN切片需要较大的计算资源，有的切片则需要更大的存储资源，所以每次转移到新的一组相邻链路状态S_l'和相邻网络节点状态S_n'之后将相邻链路状态S_l'带入相邻网络节点状态S_n'内进行检验，考查新的链路资源划分是否满足此时的节点划分需求，若满足，则可求得新状态下链路效用函数和网络节点效用函数，然后继续进行下一次状态转移；若不满足，则将相邻链路状态S_l'和相邻网络节点状态S_n'标记为无效状态，从状态转移图中将该转移节点删除，链路状态从相邻链路状态S_l'回退到链路状态S_l，重新转移到相邻链路状态S_l'中的其他状态，再继续进行验证，最终得到未来T个时刻的5G网络状态；/n步骤6、基于步骤4得到的未来各离散时刻下每条链路中各类业务包的流量情况，基于步骤5得到的未来T个时刻的5G网络状态计算得到各个时刻的总效用函数，并以一定的折合率影响当前决策，得到了该组策略对应的目标函数V_sum为：/n /n步骤7、最大化目标函数V_sum，使用动态规划算法进行策略改进，从而收敛到最优策略，即可得到t₀时刻与未来T个时刻的链路和网络节点的资源划分。/n