[发明专利]一种基于时序差分学习的虚拟网络嵌入算法

摘要

本发明涉及一种基于时序差分学习的虚拟网络嵌入算法，该方法将VNE问题建模为马尔可夫决策过程(MDP)，并建立了一个神经网络来逼近VNE状态的值函数。在此基础上，提出了一种基于时序差分学习(一种强化学习方法)的命名为VNE‑TD的算法。在VNE‑TD中，节点映射的多个嵌入候选项是概率生成的，TD学习用于评估每个候选项的长期潜力。大量的仿真结果表明，VNE‑TD算法在(block ratio)阻塞比和收益方面都明显优于以往的算法。

主权项

1.一种基于时序差分学习的虚拟网络嵌入算法，其特征在于：包括如下步骤：S101：建立VNE模型将底层网络SN建模为加权无向图，并将其表示为G^s(V^s,E^s)，其中V^s是底层节点集，E^s是底层链接集，每个底层节点v^s∈V^s，具有计算能力，每个底层链路e^s∈E^s，具有的带宽；将VNR_k建模为一个无向图,记为G^k(V^k,E^k),其中V^k是虚拟节点集，E^k是虚拟链接集，每个虚拟节点v^k∈V^k，具有计算能力，每个虚拟链路e^k∈E^k，具有的带宽需求；S102：定义状态S102a：为VNE_k定义一个奖励函数，如公式(1)：VNE_k表示对第k个VNR的过程；其中，c_v表示节点v的节点容量，b_e表示链路e的链路带宽，η表示计算资源单价，β表示带宽资源的单价；因此，很自然地将处理VNR_k后的即时奖励定义为Rvn(k)，即r_k＝Rvn(k)；S102b：为VNE定义操作集：VNE的操作集定义为所有可能的节点映射的集合；S102c：为VNE定义马尔科夫状态：使用SN的规范化的剩余节点容量和链路带宽来表示状态s_k，形式上有和s_k是一个有序集,如下公式(3)所示：在RL中，成功地保留所有相关信息的状态信号称为马尔可夫；如果状态信号具有马尔可夫特性，那么k+1处的环境响应只依赖于k处的状态和动作，在这种情况下，仅通过指定以下内容，就可以确定环境的动态；Pr{s_k+1＝s′，r_k+1＝r|s_k，a_k}         (5)S103：将VNE模型化为马尔可夫决策过程MDP；S103a：定义策略和值函数：VNE代理的策略是在状态s下，从每个状态s和动作a到采取动作a的概率的映射，给定策略π，VNE的值函数是VNE状态的函数，将值函数表示为V^π(s)，s∈S，V^π(s)可以被看作是容纳未来的VNRs和产生长期收入的潜力，以此来度量当前状态的好坏，它的定义如公式(8)：R_k是来自VNR_k的所有奖励的总和，γ是决定未来奖励现值的折现率；S103b：定义最优值函数：从RL的角度研究VNE问题的目的是寻找一种从长期来看能够获得最大回报的最优策略；设π^*是一个最优策略，当且仅当，给定任意的策略π，π^*>＝π，即意味着对于所有的s，s∈S，有最优值函数定义为对于最优值函数V^*(s)，有以下迭代表达式：S104：利用神经网络逼近最优值函数V^*(s)，即最优策略下的值函数：使用一个标准的前馈神经网络与2个完全连接(fc)层来近似最优值函数V^*(s)，fc1和fc2层节点数相同，记为H，使用整流器作为激活函数，神经网络的输入为状态s，如式(3)所示，通过计算，神经网络以状态s为输入，输出值V(s)，期望近似于V^*(s)；逼近函数V(s)的监督学习是一个调整神经网络参数的过程，其目的是尽量减少V(s)与V^*(s)之间的差异，可以表示为：随着RL过程的进行，V^*(s_k)可以看作近似函数V(s)并行监督学习的样本，根据梯度下降法对于VNR k，参数更新如下:其中α为控制学习速度的正步长参数；S105：在VNE中，给定一个VNR，我们知道可能的操作和相应的下一个状态，因此，和是确定的，已知的，遍历每个节点映射的匹配，将其作为操作集，将操作集模拟嵌入的结果状态集作为S104中神经网络的输入，得到多个最优值函数的值，由于最优策略π*(s)可表示为:即，值最大的便符合最优策略，S106：选择值最大的最优值函数所对应的匹配实际嵌入VNR，然后找到两个具有一定带宽的SN节点之间的最短路径来匹配VN链路。