[发明专利]一种基于时序差分学习的虚拟网络嵌入算法

说明书

本发明涉及一种基于时序差分学习的虚拟网络嵌入算法，该方法将VNE问题建模为马尔可夫决策过程(MDP)，并建立了一个神经网络来逼近VNE状态的值函数。在此基础上，提出了一种基于时序差分学习(一种强化学习方法)的命名为VNE‑TD的算法。在VNE‑TD中，节点映射的多个嵌入候选项是概率生成的，TD学习用于评估每个候选项的长期潜力。大量的仿真结果表明，VNE‑TD算法在(block ratio)阻塞比和收益方面都明显优于以往的算法。

技术领域

本发明涉及计算机网络，特别涉及一种基于时序差分学习的虚拟网络嵌入算法。

背景技术

近年来，网络虚拟化由于为未来的网络提供了一个很有前景的解决方案，受到了研究社 区和业界的广泛关注。它被视为一种工具，可以克服当前互联网对根本性变革的阻力。此外， 网络虚拟化也是云计算的关键推动者。网络虚拟化的主要实体是虚拟网络(VN)。如图1所示， VN是底层网络(SN)上的虚拟节点和链路的组合，其中节点上或链路下的数字分别为节点容量 和链路带宽。虚拟节点通过一个或多个SN路径的虚拟链路相互连接。通过对一个SN的节点 资源和链路资源进行虚拟化，可以在相同的物理硬件上同时托管具有广泛不同特性的多个 VNs。给定一组对节点和链路都有一定资源需求的虚拟网络请求(VNR)，在一个SN中找到一 个特定的节点和链路子集来满足每个VNR的问题称为虚拟网络嵌入(VNE)问题。在大多数现 实情况下，VNE问题必须作为一个在线问题来处理。也就是说，VNRs并不预先知道。相反， 它们动态地到达系统，并可以在SN中停留一段时间。实际上，VNE算法必须在到达时处理 VNRs，而不是一次处理一组VNRs(离线VNE)。在为VNRs做在线嵌入决策时，基础设施 提供商(InP，通常是SN的所有者)通常以最大化其长期收益为目标，这使得VNE问题更具挑 战性。

发明内容

本发明要解决的技术问题是：虚拟网络嵌入时实现性能和计算复杂度之间更好的平衡。

为实现上述目的，本发明采用如下技术方案：一种基于时序差分学习的虚拟网络嵌入算

法，包括如下步骤：

S101：建立VNE模型

将底层网络SN建模为加权无向图，并将其表示为G^s(V^s,E^s)，其中V^s是底层节点集，E^s是底层链接集，每个底层节点v^s∈V^s，具有计算能力，每个底层链路e^s∈E^s，具有的带宽；

将VNR_k建模为一个无向图,记为G^k(V^k,E^k),其中V^k是虚拟节点集，E^k是虚拟链接集，每 个虚拟节点v^k∈V^k，具有计算能力，每个虚拟链路e^k∈E^k，具有的带宽需求；

S102：定义状态

S102a：为VNE_k定义一个奖励函数，如公式(1)：VNE_k表示对第k个VNR的过程；

其中，c_v表示节点v的节点容量，b_e表示链路e的链路带宽，η表示计算资源单价，β表示带宽资源的单价；因此，很自然地将处理VNR_k后的即时奖励定义为Rvn(k)，即r_k＝Rvn(k)；

S102b：为VNE定义操作集：VNE的操作集定义为所有可能的节点映射的集合；

S102c：为VNE定义马尔科夫状态：