[发明专利]基于图神经网络和深度强化学习的路由优化方法及系统

说明书

本发明公开了一种基于图神经网络和深度强化学习的路由优化方法及系统，属于网络路由优化领域。方法包括测量当前网络状态s，根据当前网络状态请求分配的流量需求，选取k条源节点到目标节点的最短路径，作为动作集a；将动作集a输入至图神经网络，聚合链路特征并迭代更新，经Q函数得到网络状态s和动作集a的估计Q值；根据估计Q值进行深度强化学习得到当前网络状态下的路由策略，将路由策略反馈给网络拓扑执行相应的路由动作。本发明提出了基于图神经网络和深度强化学习的网络路由优化体系结构，旨在利用图神经网络学习拓扑中图元素之间的关系以及组成它们的规则，利用深度强化学习算法进行决策，从而优化网络路由。

技术领域

本发明属于网络路由优化领域，更具体地，涉及一种基于图神经网络和深度强化学习的路由优化方法及系统。

背景技术

在网络领域，从给定的流量矩阵中找到最佳的路由配置是一个基本问题，也是一个非确定性多项式问题(简称NP问题)。现有的多种基于深度强化学习(DeepReinforcement Learning，DRL)的解决方法通常会预处理来自网络状态的数据，并以固定大小的矩阵形式呈现，然后由传统的神经网络(如全连接神经网络、卷积神经网络)来进行处理，从而解决路由优化问题。研究深度强化学习作为网络路由优化的关键技术，目标是建立自驱动软件定义网络(Software Defined Network，SDN)。然而，当深度强化学习技术应用于不同的网络场景时，该方法无法进行推广，因为大多数现有的深度强化学习方法只能在训练时使用固定的网络拓扑，而不能在动态的网络拓扑上进行推广和有效运行。造成这种限制的主要原因在于，计算机网络本质上是基于图结构来表达的(如网络拓扑和路由策略等)，但目前基于深度强化学习的方案几乎全部使用传统的神经网络结构，而传统神经网络结构不适合学习和归纳图结构信息，无法对图结构信息建模。即使是使用当前最先进的深度强化学习方法(如SoA-DRL)，在训练动态网络拓扑时，其性能表现也不甚理想，无法推广到新的网络拓扑中。

近年来，图神经网络(Graph Neural Networks，GNN)被提出用来对图进行建模和操作，以便于实现关系推理和结构推广。换句话说，图神经网络有助于学习图元素之间的关系以及组成它们的规则，其在网络建模和优化领域显示了前所未有的推广能力。而网络拓扑和路由策略恰好需要针对图结构的算法来进行学习和优化。

发明内容

针对现有技术的缺陷，本发明的目的在于提供基于图神经网络和深度强化学习的路由优化方法及系统，旨在解决现有深度强化学习难以解决的动态和未知网络拓扑的流量分配问题。

在一个基于SDN的网络拓扑场景中，SDN控制器具有当前网络状态的全局视图，并且必须在每个流量需求到达时做出路由决定。这个问题可以被描述为一个典型的网络资源分配问题：在一个网络拓扑中，每条链路都有固定的信道容量，控制器负责接收流量请求，并根据需要为每条链路实时分配不同的带宽。因此，关键问题在于如何在网络拓扑中分配带宽，使通过该网络拓扑的流量达到最大值。在这种情况下，路由优化问题被定义为：为每个输入的从源到目的地的流量需求寻找最优的路由策略。

为实现上述目的，按照本发明的第一方面，提供了一种基于图神经网络和深度强化学习的路由优化方法，包括以下步骤：

S0.测量当前网络状态s，将当前网络状态请求分配的流量需求作为目标流量需求；

S1.根据目标流量需求选取k条源节点到目标节点的最短路径，最短路径的集合称为动作集a，其中k为正整数；

S2.将所述动作集a输入至图神经网络，以计算聚合链路特征并进行聚合和迭代更新，经Q函数得到网络状态s和动作集a的估计Q值；

S3.根据所述估计Q值进行深度强化学习得到当前网络状态下的路由策略，将路由策略反馈给网络拓扑执行相应的路由动作，并得到新的网络状态s’；