[发明专利]一种基于强化学习的多通道数据转发决策方法

说明书

本发明公开了一种基于强化学习的多通道数据转发决策方法，包括以下步骤：S1、系统部署：首先进行系统部署，系统部署包括用户侧接入模块、出口路由信息收集模块和多通道路由管理中心。涉及计算机网络技术领域。该基于强化学习的多通道数据转发决策方法，设备算力以及模型表达能力的提升使得的人工智能模型具备了强大的学习能力和良好的泛化性，以一种通用的形式将深度学习的感知能力和强化学习的决策能力相结合，并以端到端的学习方式实现输入到输出的直接控制，网络安全保密性较高，不占用网络带宽，而且当网络拓扑或链路状态发生变化时，静态路由信息不需要大规模调整，降低了操作的复杂度。

技术领域

本发明涉及计算机网络技术领域，具体为一种基于强化学习的多通道数据转发决策方法。

背景技术

近年来，随着互联网的高速发展，包括工业互联网、远程办公、网络游戏及全息通信在内的很多新兴应用大量涌现。这些新兴应用的涌现一方面带来了高度差异化的服务质量需求，另一方面，也对网络资源的充分利用带来了挑战。用户日益增加的网络需求以及对优质服务质量的迫切期望，催生了很多技术的产生，其中为用户配置多个出口路由就是一个解决方案。

以往利用单通道进行用户流量数据传输在遭遇网络通信链路拥塞或故障时，会极大影响数据的传输效率，降低用户体验。而多通道流量转发通过为用户配置多个流量出口节点，使得用户可以利用多个通信链路对数据进行传输。一方面，多个通道并发通信可提升用户的通信带宽，另一方面，当某一条通信链路发生拥塞或故障时，可以选用其它通道进行通信，保证服务质量。

在多通道环境下，针对某一特定通信该选择哪一个出口节点是一个难题。以往方法主要分为静态选路及动态选路两种方案，静态选路是根据静态信息来判断该选择哪个路由出口，通常采用静态路由表的方式，其优点是容易实现且易于配置，并且网络安全保密性较高，不占用网络带宽。但是，当网络拓扑或链路状态发生变化时，静态路由信息需要大规模调整，会极大增加操作的复杂度。而动态选路则不依赖静态的IP转发规则，而是根据特定的路由信息自动地进行选路并建立路由表，并且能够根据链路和节点的变化适时地进行自动调整，根据实际的运行情况选择最佳的链路出口，相对于静态选路方案，动态选路更加灵活，但是由于其通常需要了解各条通道的链路状态，因此产生了额外的通信开销，占用了部分通信带宽，也对用户体验造成了负面的影响。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于强化学习的多通道数据转发决策方法，解决了当网络拓扑或链路状态发生变化时，静态路由信息需要大规模调整，会极大增加操作复杂度的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于强化学习的多通道数据转发决策方法，包括以下步骤：

S1、系统部署：首先进行系统部署，系统部署包括用户侧接入模块、出口路由信息收集模块和多通道路由管理中心；

S2、网络拓扑构建：基于用户所在网络的路由拓扑结构构造网络拓扑图，对于用户侧多通道场景，建模用户节点，并将用户节点与各自可选取的出口通道节点进行连接；

S3、信息收集及模型训练：信息收集及模型训练的信息主要用于深度强化学习模型的环境状态信息，及奖励机制；

S4、多通道决策执行：将收集到的各类信息输入到模型中，得到决策方案，用户选取哪个通道进行流量转发，并在用户侧接入模块进行执行即可；