[发明专利]一种基于深度Q网络的边缘网络请求调度决策方法

权利要求书

1.一种基于深度Q网络的边缘网络请求调度决策方法，所用的系统包括网络数据获取子系统、特征嵌入子系统、微云选择子系统、节点选择子系统、移动边缘网络请求调度决策应用系统；其特征在于，

(1)网络数据获取子系统具体运行过程如下：

(1.1)获取当前网络状态和请求队列，网络状态包括链路连接情况、链路带宽、链路时延、链路抖动、链路已用容量、网络节点数量、节点与微云连接情况、微云容量和微云已用容量；请求队列包括请求的源节点、目的节点、带宽约束、时延约束和SFC约束；其中SFC表示服务功能链；

(1.2)对请求队列进行k-means聚类处理，分为k类分别输入决策模型；

(2)特征嵌入子系统的具体运行过程如下：

(2.1)为网络G(V,E,w)的每个节点v∈V初始化一个p维向量如果节点是交换机节点，如果节点还连有微云，

(2.2)对于每个节点v∈V，由下式递归地同步更新μ_vT轮：

其中：V′_v,α表示节点v在网络G中距离α跳以内的相邻节点，F为非线性映射，w(v,u)是边的权值函数；使用这一函数F来更新p维向量μ_v：

其中，x_v为0-1变量表示节点v是否曾被选择，d_e表示链路e的延迟，D_k为请求r_k的延迟约束，p_v,u为从节点p到节点u的所有路径，c_e为边的权值函数，取CL_k是候选微云集合，为从节点p到微云cl_j的所有路径，B_al是链路已经使用的带宽，B是链路的总带宽，relu是线性整流函数；μ_v向量代表节点输入决策模型；

(3)微云选择子系统的具体运行过程如下：

(3.1)将经验回放存储器M初始化为容量N＝10000；

(3.2)初始化状态为S₁＝()；

(3.3)为请求r_k初始化候选微云集合CL_k，条件为微云还有足够的空间至少放置服务功能链SC_k中未放置的第一个VNF；

(3.4)判断请求r_k的SC_k是否放置完毕，如果放置完毕则选择请求的目的节点v_t＝d_k，否则以概率ε从CL_k中随机选择一个微云v_t＝cl_j，或者使用深度Q网络选择其中其中是微云选择子系统深度Q网络模型的可训练参数；

(3.5)使用节点选择子系统做出动作v_t的具体路径决策，使用移动边缘网络请求调度决策应用系统执行动作v_t，将动作v_t添加到状态S_t，更新奖励R为执行动作v_t的累积奖励，如果请求r_k没有执行完毕则返回(3.3)继续执行；

(3.6)使用n步Q学习方法，如果请求r_k的循环次数t≥n则向M中添加记录(S_t-n,v_t-n,R_t-n,t,S_t)；

(3.7)从M中随机抽样B～M并使用随机梯度下降方法根据B更新Θ；

(4)节点选择子系统的具体运行过程如下：

(4.1)将另一经验回放存储器M′初始化为容量N′＝100000；

(4.2)初始化状态为S′₁＝(s′_k)，若节点选择子任务为请求r_k决策过程的第一个子任务则s′_k为请求r_k的起点，否则s′_k为上一个节点选择子任务的终点；

(4.3)为微云选择子系统定义的阶段目标初始化候选节点集合V_k，条件为在当前节点α跳内可以到达且路径链路的剩余带宽满足请求r_k的带宽约束；

(4.4)以概率ε'从V_k中随机选择一个节点v'_t＝v_j，否则使用深度Q网络选择其中其中是节点选择子系统深度Q网络模型的可训练参数；

(4.5)使用移动边缘网络请求调度决策应用系统执行动作v'_t并更新奖励，将动作v'_t添加到状态S′_t，更新奖励r(S′_t,v'_t)＝c(S′_t+1,G)-c(S′_t,G)，其中B_k为请求r_k的带宽约束，如果阶段目标没有执行完毕则返回(4.3)继续执行；

(4.6)使用n步Q学习方法，如果阶段目标的循环次数t≥n则向M′中添加记录(S'_t-n,v'_t-n,R'_t-n,t,S'_t)；

(4.7)从M′中随机抽样B'～M′并使用随机梯度下降方法根据B'更新Θ'；

(5)将请求调度决策模型储存在移动边缘网络请求调度决策应用系统，实时获取到网络的状态和请求队列，将网络状态和请求输入到特征嵌入子系统，获取网络节点的特征嵌入向量，之后通过相对应的请求调度决策模型，根据网络状态和请求得出决策路径并执行。