[发明专利]一种网络缺失数据在线填充的流处理方法及系统

权利要求书

1.一种网络缺失数据在线填充的流处理方法，其特征在于，包括：

S11，按照预设采样频率采集当前网络的监控数据矩阵，并将所采集的所有网络监控数据矩阵按照时间顺序，构建监控数据矩阵序列；

S12，获取与当前时刻k的待填充监控数据矩阵相关的历史矩阵序列；所述历史矩阵序列是以窗口长度为T的滑动窗口，从所述监控数据矩阵序列上选择的k-T到k-1范围内的T个监控数据矩阵构成的；

S13，将所述历史矩阵序列输入至预先训练好的特征提取器，以获取由所述特征提取器输出的空间特征向量序列；所述空间特征向量序列包含与所述T个监控数据矩阵所对应的T个空间特征向量；

S14，将所述空间特征向量序列依次输入值预先训练好的门控循环单元，以获取由所述门控循环单元输出的上下文向量；

S15，将所述上下文向量与所述当前时刻k对应的空间特征向量进行联合处理，以获取联合向量；

S16，将所述联合向量输入至预先训练好的缺失数据生成模型，以获取由所述缺失数据生成模型输出的当前监控数据矩阵；

S17，在流处理过程中，迭代执行上述步骤S11至S16的步骤，以获取针对每个所述当前时刻k的待填充监控数据矩阵进行填充后的所述当前监控数据矩阵；其中在将所述联合向量输入至预先训练好的缺失数据生成模型之前，还包括利用加权复合损失函数，对所述缺失数据生成模型进行预训练；

所述加权复合损失函数是由鲁棒性相对误差函数与均方根误差函数构建的，所述加权复合损失函数的函数模型表达式为：

1≤b,0＜μ＜＜1；

其中，E_current为当前训练回合数；E_max为总训练回合数；α为动态权重；为数据中的缺失位置；为在时刻k中矩阵位置[i,j]处的真实值；为在时刻k中矩阵位置[i,j]处模型给出的填充值；b和μ均为调节损失函数的超参数。

2.根据权利要求1所述的网络缺失数据在线填充的流处理方法，其特征在于，在将所述历史矩阵序列输入至预先训练好的特征提取器以及将所述空间特征向量序列依次输入值预先训练好的门控循环单元之前，还对所述特征提取器以及所述门控循环单元进行预训练，具体包括：

S01，按照预设采样频率采集当前网络的监控数据矩阵，并将所采集的所有网络监控数据矩阵按照时间顺序，构建监控数据矩阵序列；

S02，获取与任一时刻S的待填充监控数据矩阵相关的历史矩阵序列；所述历史矩阵序列是以窗口长度为T的滑动窗口，从所述监控数据矩阵序列上选择的S-T到S-1范围内的T个监控数据矩阵构成的；

S03，将所述历史矩阵序列输入至预先训练好的特征提取器，以获取由所述特征提取器输出的空间特征向量序列；所述空间特征向量序列包含与所述T个监控数据矩阵所对应的T个空间特征向量；

S04，将所述空间特征向量序列依次输入值预先训练好的门控循环单元，以获取由所述门控循环单元输出的上下文向量；

S05，随机从所述历史矩阵序列中选取N个监控数据矩阵，作为监控数据矩阵样本，并获取每个所述监控数据矩阵样本对应的空间特征向量；将N个所述空间特征向量作为N个负样本，将所述任一时刻S对应的空间特征向量作为1个正样本，将所述任一时刻S对应的上下文向量作为锚点，使用基于正样本与负样本的对比学习方法，对所述特征提取器以及所述门控循环单元进行预训练；

S06，迭代执行上述步骤S01至S05的步骤，直至训练结果收敛，获取所述训练好的特征提取器以及所述训练好的门控循环单元。

3.根据权利要求2所述的网络缺失数据在线填充的流处理方法，其特征在于，使用基于正样本与负样本的对比学习方法，对所述特征提取器以及所述门控循环单元进行预训练，包括：

将正样本与上下文向量分别重构成矩阵而后相乘，得到正样本重构矩阵；

将N个负样本构成的负样本集合重构成矩阵，再与上下文向量进行矩阵乘，则得到负样本重构矩阵；

分别对所述正样本重构矩阵和所述负样本重构矩阵，进行Softmax操作，分别获取正样本预测结果和负样本预测结果；

基于噪声比估计函数，根据所述正样本预测结果和所述负样本预测结果对所述特征提取器以及所述门控循环单元的模型参数进行更新，直至更新结果收敛为止。