[发明专利]边缘网络中基于改进的演员-评论家算法的SFC部署方法

说明书

本发明公开了提供一种边缘网络中基于改进的演员‑评论家的SFC部署方法，首先系统初始化，包括对移动边缘网络的选择、服务请求特征的定义和对服务功能链的定义；建立无线信道的约束，保证总体的端到端的服务；推断服务器和链路上的约束条件，使得服务功能链能在服务器和链路允许的范围内得到最好的部署方案；然后对问题进行分析得到所需解决的问题公式；构建马尔使用基于自然梯度的Actor‑Critic方法，消除数据的相关性。本发明使用基于自然梯度的Actor‑Critic框架最小化服务延迟。并结合经验回放和固定目标网络的技术提高DNN训练的稳定性，使得本发明能够在时变性较强的真实网络中更好的完成服务功能链的部署任务。

技术领域

本发明属于网络功能虚拟化技术领域，具体涉及一种边缘网络中基于改进的演员-评论家的SFC部署方法。

背景技术

现如今，在5G网络架构中的网络技术领域使用软件定义网络(SDN,SoftwareDefined Network)以及网络功能虚拟化(NFV,Network Function Virtualization)相结合的网络架构已经得到了广泛共识。NFV技术为将网络功能从专用硬件中分离出来，利用了云计算和虚拟技术编排出不同的虚拟网络功能(VNF,Virtual Network Function)，将其映射在通用的物理服务器上用以完成相应的网络功能。和基于硬件相比，基于软件的NFV可以确保其灵活性。一个完整的服务请求是由一组有序的VNF连接成的，将其称作一条服务功能链(SFC,Service Function Chain)。那么如何实现用户的服务请求问题就转化成NFV技术的关键性问题：如何在底层网络上部署SFC，这个问题的实质就是将VNF和连接VNF的虚拟链路分别在底层物理网络中的服务器和物理链路上进行实例化且必须满足相应的资源容量需求，并将底层网络的物理资源分配给SFC的各个组成部分，形成一条端到端的通路。但网络资源是有限的，所以如何在保证SFC服务质量的前提下减少资源的消耗是至关重要的。

目前，针对SFC的研究并不是很完善，大多算法都是解决核心网络或云计算网络的SFC部署问题。但这些算法在新兴的移动边缘计算(MEC,Mobile Edge Computing)网络上效果并不理想。与核心网络相比，边缘网络对SFC有更严格的要求，因为边缘服务器的计算和网络资源都是有限的。而且从边缘网络到用户的无线信道问题也要考虑进去，这才能实现真正的端到端的服务。

已有的关于在边缘网络上进行SFC部署的工作：2020年，宋等人采用了图划分的算法，从而优化了簇数，使得端到端服务延迟最小化；同年，也是以延迟最小化为目标，郑等人在研究中嵌入了混合SFC，综和考虑了向前流量和向后流量。然而，前面提到的工作都忽略了实际网络的时变性，为了捕捉网络的实时变化，网络动力学已经被公式化为马尔可夫决策过程(MDP,Markov Decision Process)状态转移。但几乎所有现在的使用强化学习的方法都只考虑了边缘服务器或有线链路中的资源变化，忽略了无线电资源变化。因此，本发明使用一个改进的Actor-Critic框架来研究边缘网络中的服务功能链。

发明内容

本发明的目的是提供一种边缘网络中基于改进的演员-评论家的SFC部署方法，使用一个基于自然梯度的Actor-Critic框架来最小化服务延迟。并结合经验回放和固定目标网络的技术提高DNN训练的稳定性，使得本发明能够在时变性较强的真实网络中更好的完成服务功能链的部署任务。

本发明所采用的技术方案是，一种边缘网络中基于改进的演员-评论家的SFC部署方法，其特征在于，具体按照以下步骤实施：

步骤1、系统初始化，包括对移动边缘网络的选择、服务请求特征的定义和对服务功能链的定义；

步骤2、建立无线信道的约束，保证总体的端到端的服务；

步骤3、推断服务器和链路上的约束条件，使得服务功能链能在服务器和链路允许的范围内得到最好的部署方案；

步骤4、对问题进行分析，从而得到所需解决的问题公式；