[发明专利]一种基于强化学习的骨干网络流量确定方法及系统

说明书

本发明公开一种基于强化学习的骨干网络流量确定方法及系统，所述方法包括：根据获取的骨干网络中所有的链路、所有的路由器和所有的端口，确定路由矩阵；根据路由矩阵，确定即刻奖赏矩阵；根据即刻奖赏矩阵，确定累计奖赏矩阵；对累计奖赏矩阵进行强化学习，确定最优累计奖赏矩阵；根据最优累计奖赏矩阵，确定骨干网络中待测量的路由器；判断所述待测量的路由器是否小于端到端流量阈值；根据判断结果判断是否直接测量待测量的路由器的流量，进而确定骨干网络流量。本发明所提供的一种基于强化学习的骨干网络流量确定方法及系统，能够保证网络流量确定的准确性。

技术领域

本发明涉及无线通信技术领域，特别是涉及一种基于强化学习的骨干网络流量确定方法及系统。

背景技术

互联网的应用大大改善了我们的生活。网络的规模正在迅速增长，这使得网络比以前复杂得多。随着网络流量的快速增长，网络管理问题日益突出。为了保证网络的安全和效率，网络管理对于运营商来说是必不可少的。并且，有效的网络管理可以为用户提供高质量的服务，使网络避免网络拥塞、分布式拒绝服务(DDoS)等网络攻击。流量矩阵(TM)作为一个重要的输入参数，描述了网络中源-目的(OD)流之间的网络流量动态轨迹。实现流量矩阵的分类法有很多。一般可分为直接测量法和网络流量估计法两大类。网络流量确定方法根据流量矩阵与链路负载之间的关系，推导出流量矩阵。然而，它的缺点是定位很差，因此很难获得一个准确的流量矩阵估计。另一方面，直接测量方法虽然可以得到精确的流量矩阵估计量，但增加了网络负载。此外，它还消耗路由器的许多资源(如CPU和内存)。

为了获得网络流量数据，在过去二十年中提出很多种方法。网络层析成像技术是一种传统的间接流量矩阵测量方法。网络层析成像技术的主要的缺点是网络高度病态特征引起的估计误差。虽然直接测量是有效的实现网络流量数据的方法，其造成的网络的高消耗使其备受诟病。

为了减少直接测量对网络的消耗，提出了一些优化直接测量的方法。Ghode等改进了ZRP协议，增加了能量限制使其在MANET网络中有效工作。Salsano等人分析了连接检查的机制性能(网络延迟和数据包丢失)监控并提出了一种基于内核的互联网协议地址(InternetProtocol,IP)接入网实现，其CPU使用率相对较低。还有学者提出了一种动态协同监测方法，基于社会网络分析的界面选择方案可以有效降低网络成本。Shin等提出了一种分布式在线优化嗅探器算法多通道被动监控的信道分配无线网络。

但是，对于网络环境的复杂性和时变性，上述直接测量的方法很难保证的流量确定的准确性。

发明内容

本发明的目的是提供一种基于强化学习的骨干网络流量确定方法及系统，能够保证网络流量确定的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于强化学习的骨干网络流量确定方法，包括：

获取骨干网络中所有的链路、所有的路由器和所有的端口；

根据所述骨干网络中所有的链路、所有的路由器和所有的端口，确定路由矩阵；

根据所述路由矩阵，确定即刻奖赏矩阵；所述即刻奖赏矩阵为在某一链路时，一个动作作用于所述骨干网络，所述骨干网络返回的奖赏值；所述奖赏值为每个动作设置的权重值；

根据所述即刻奖赏矩阵，确定累计奖赏矩阵；所述累计奖赏矩阵为所述即刻奖赏矩阵不断更新的累计奖赏值；

对所述累计奖赏矩阵进行强化学习，确定最优累计奖赏矩阵；所述最优累计奖赏矩阵为所述累计奖赏值最大的累计奖赏矩阵；

根据所述最优累计奖赏矩阵，确定骨干网络中待测量的路由器；

判断所述待测量的路由器是否小于端到端流量阈值，得到第一判断结果；所述端到端流量阈值为用户需要测量的路由器数目；