[发明专利]一种基于深度强化学习的虚拟网络映射方法

说明书

一种基于深度强化学习的虚拟网络映射方法，包括以下步骤：步骤1，将虚拟网络映射中节点映射问题建模为马尔可夫决策过程；步骤2，在马尔可夫决策过程基础上，利用DDQN算法进行虚拟节点的映射；步骤3，利用最短路径算法进行虚拟网络链路映射：步骤4，更新物理网络资源，包括CPU资源和链路带宽资源。通过这种自适应学习方案，可以通过节约能耗和提高VNR接收率来获得全局最优的映射方法，比传统方法相比，有更好的灵活性。实验表明，该方法能够降低能耗，提高请求接受率并提高长期平均收益。

技术领域

本发明涉及软件定义网络中虚拟网络的映射问题，特别涉及一种基于深度强化学习的虚拟网络映射方法。

背景技术

随着云计算、移动互联网等技术的快速发展，多租户网络的需求越来越多和灵活，传统的以IP为核心的基础框架存在着扩展能力差和核心功能单一等问题，不能满足多租户网络的业务需求。

网络虚拟化技术是解决上述问题的有效方法，它能融合现有的通信和计算资源虚拟化技术，采用分层的技术手段解决此问题，是未来互联网应具备的关键特性之一。网络虚拟化技术使用解耦合和复用的方法使底层网络的物理资源被多个虚拟网络共享，为共享的异构上层网络提供差异化服务。可自组织、重构的上层虚拟网络能够动态的映射到底层物理网络之上，实现快速的异构网络部署。

但是在现有环境下实现网络虚拟化存在很大的局限性，于是一种新兴的网络体系架构—SDN应运而生。它将控制与转发分离，并且实现了可编程的集中控制，支持网络虚拟化，二者相辅相成，是两种具有高度相关性的技术的有效结合，可以很好的满足未来网络对组网的灵活性，网络的集中管理等需求。

虚拟网络映射或者虚拟网络嵌入是实现网络虚拟化的一项重要挑战，它能够实现将底层网络资源分配给虚拟网络，即在节点上分配CPU资源，在链路上分配带宽资源。VNE是一个NP难问题，即使所有的虚拟节点已被映射后，映射带有带宽资源约束的虚拟链路仍然是NP难的。面向软件定义网络的虚拟网络映射是对底层网络设备的虚拟化，使其可以支持更多的可扩展应用，同一个物理基础设施可以运行多样的虚拟网络。

由于传统的深度强化学习无法解决Q学习算法的固有缺点-过优估计，过优估计指的是估计的值函数比真实的值函数偏大，如果过优估计在所有状态都是均匀的，那么根据贪心策略，依然能够找到值函数的最大动作，但是往往过优估计在各个状态不是均匀的，因此过优估计会影响到策略决策，从而导致获取的不是最优策略。

发明内容

本发明的目的在于针对软件定义网络中虚拟网络映射问题，提出一种基于深度强化学习的虚拟网络映射方法。

为了达到上述目的，本发明采用了以下技术方案：

一种基于深度强化学习的虚拟网络映射方法，包括以下步骤：

步骤1，将虚拟网络映射中节点映射问题建模为马尔可夫决策过程；

步骤2，在马尔可夫决策过程基础上，利用DDQN算法进行虚拟节点的映射；

步骤3，利用最短路径算法进行虚拟网络链路映射：

步骤4，更新物理网络资源，包括CPU资源和链路带宽资源。

本发明进一步的改进在于，步骤1的具体过程如下：

2.1定义状态集合S_t

假设在给定状态S_t中，代理选择一个物理节点映射到虚拟节点然后进入下一个状态S_t+1，其中是能够承载虚拟节点n^v的所有物理节点的集合，是所有未被映射的虚拟节点的集合；t时刻状态集合被定义为：

其中是承载先前虚拟节点的物理节点，在初始状态，没有节点被映射，故