[发明专利]一种网络缺失数据在线填充的流处理方法及系统

说明书

本发明公开了一种网络缺失数据在线填充的流处理方法，包括：在对网络缺失数据进行流处理的过程中，通过特征提取器和门控循环单元对前一时段内的监控数据矩阵序列蕴含的时间和空间信息进行提取，能够获取保留历史数据中有效信息的上下文向量，将其与当前时刻网络缺失数据对应的空间特征向量信息进行联合，已将联合向量输入至预先训练好的缺失数据生成模型，以获取对网络缺失数据填充后的当前监控数据矩阵。本发明提供的网络缺失数据在线填充的流处理方法及系统，通过将网络缺失数据对应的空间特征向量与此前历史数据相关的上下文向量进行联合，使其融合了此前时段网络数据的时空信息，能有效地提高对网络缺失数据进行在线填充的精度。

技术领域

本发明属于计算机网络技术领域，更具体地，涉及一种网络缺失数据在线填充的流处理方法及系统。

背景技术

随着通信技术的飞速发展，需要维护的网络规模也在不断增加。在网络运维过程中，有必要对网络监控数据进行测量，以进行后续的异常检测、根因分析、流量预测等任务。然而在大规模网络上执行全网测量的成本很高，频繁的测量也会大幅占用网络资源。

有研究表明，网络监控数据之间具有时间相关性和空间相关性，因此当前的主流处理方法是测量部分数据，并根据相关性恢复未测量的数据。由于网络性能数据随时可以形成矩阵，因此我们也将此问题称为网络监控矩阵(Network Monitoring Matrix，简称NMM)填充问题。

如何以尽可能少的测量动作准确快速地推断出未观测数据，已经成为一个具有挑战性的问题。为了解决该问题，业界进行了许多探索并提出了许多填充方法。总结起来主要为两类：

第一类方法是以张量分解的方式处理数据，其将多个NMM组合为一个三维张量，并通过张量分解技术去除噪声保留数据间的关系从而实现对缺失部分的填充；然而，该方法存在一个显著缺陷：其需要将长序列的缺失矩阵作为输入，且每个序列需要对参数从头开始训练，这大大增加了填充的时间成本，进而导致后续即使能够准确恢复缺失数据，对有危害的网络行为进行检测与拦截也已经来不及了。

第二类是利用机器学习方法提取特征，并学习数据相关性进行填充，其主要使用自编码器参考文献、生成对抗网络、以及循环神经网络(如门控循环单元)；其中自编码器和生成对抗网络用于捕捉每个时刻监控数据内部的空间关系，门控循环单元用于学习时序数据的时间关系，最后对时空关系进行整合用于恢复。然而，该方法的缺陷在于：第一，其是通过历史数据训练一个参数固定的填充模型，因此只适合于填充相关性不变的数据，而网络数据的相关性会随着时间缓慢且动态地发生变化，因此该方法并不适用；第二，其使用的损失函数为均方根误差，并没有考虑到网络数据符合重尾分布的特性，这会导致模型的收敛速度慢；第三、由于在训练模型过程中存在梯度更新不平衡的缺陷，因此会影响最终的填充精度。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种网络缺失数据在线填充的流处理方法及系统，其目的在于，解决现有基于张量分解的填充方法由于需要将长序列的缺失矩阵作为输入，且每个序列需要对参数从头开始训练，导致大大增加填充时间成本的技术问题，以及现有基于机器学习的填充方法由于只是通过历史数据训练一个参数固定的填充模型导致其并不适用于填充网络数据的技术问题，以及由于没有考虑到网络数据符合重尾分布的特性，导致模型的收敛速度慢的技术问题，以及由于在训练模型过程中存在梯度更新不平衡的缺陷，导致最终的填充精度不高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种网络缺失数据在线填充的流处理方法，包括：

S11，按照预设采样频率采集当前网络的监控数据矩阵，并将所采集的所有网络监控数据矩阵按照时间顺序，构建监控数据矩阵序列；

S12，获取与当前时刻k的待填充监控数据矩阵相关的历史矩阵序列；所述历史矩阵序列是以窗口长度为T的滑动窗口，从所述监控数据矩阵序列上选择的k-T到k-1范围内的T个监控数据矩阵构成的；