[发明专利]一种网络流量数据恢复方法及系统

说明书

本发明公开了一种网络流量数据恢复方法及系统，输入一个3阶的流量张量其中，是一个不完整张量，I维度表示时隙、J维度表示天数、K维度表示源节点到目的节点之间的流量数据，即OD对；通过张量的平行因子分解，即CP分解，求因子矩阵利用三个因子矩阵A,B,C选择锚点，计算数据间的相似度距离，构建子张量。通过子张量的填充和数据加权融合恢复原始的网络流量张量。本发明能够有效的挖掘并利用数据内部隐藏的相似性，实现更加精准的张量数据填充；对所需填充的张量数据放松了整体低秩的假设约束，只需假设需要恢复的张量具有局部低秩性，更加适用于真实数据集。

技术领域

本发明涉及计算机技术和网络技术领域，特别是涉及网络流量监测中，需要根据部分采样数据快速填充全部数据的应用，具体是基于局部张量填充的网络流量数据精准恢复方法及系统。

背景技术

监控大型网络的性能需要耗费高测量代价。最近的一些研究表明，监控的网络数据(如端到端延迟和流量)隐藏了时空相关性。这激发了新型稀疏网络监测技术的发展。在该技术中应用基于样本的网络监测，其中仅在一些随机节点对之间或者在给定节点对的某个间隔进行测量，其他节点的流量数据利用网络流量数据本身的时空相关性推导出来，可以大大降低测量成本。

虽然有减少测量开销的好处，但用于异常检测和故障恢复的网络状态跟踪对数据的丢失非常敏感。从部分网络流量测量中准确恢复缺失值成为稀疏网络监测的重要步骤。目前已知的单纯的利用空间或时间信息的设计方法，数据恢复性能是很低的。为了更加精确地恢复数据，将网络监控数据表示为一个称为张量的高维数组。虽然通过张量填充来恢复缺失的数据很有前景，但是现有的张量填充算法一般都假设缺失的张量数据具有整体低秩的结构，并试图找到一个单一的全局模型来拟合整个张量的数据。然而，在许多实际应用中，大张量中的数据可能具有不同程度的相关性。由于数据集中各个部分的数据具有不同的结构特征，单个模型无法捕获数据集中的所有数据特征，导致缺失数据恢复精度较低。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种网络流量数据恢复方法及系统，实现更加精准的张量数据填充。

为解决上述技术问题，本发明所采用的技术方案是：一种网络流量数据恢复方法，包括以下步骤：

一种网络流量数据恢复方法，其特征在于，包括以下步骤：

1)输入一个3阶的流量张量其中，是一个不完整张量，_I维度表示时隙、_J维度表示天数、_K维度表示源节点到目的节点之间的流量数据，即OD对；

2)通过张量的平行因子分解，即CP分解，使张量中采样元素误差的损失函数最小化，找出因子矩阵损失函数定义如下：

其中，[[A,B,C]]_i,j,k和m_i,j,k分别是填充的数据元素，以及采样点(i,j,k)处的值；[[A,B,C]]_i,j,k-m_i,j,k是在索引为(i,j,k)处的恢复误差，Ω为采样位置张量；

3)利用因子矩阵A,B,C选择锚点以构建局部子张量，填充局部子张量，对填充好的局部子张量中的数据进行加权融合，使用加权融合恢复的局部子张量数据填充出原始的大张量

还包括如下步骤4)：输出原始的大张量

中的任意一个数据表示为其中m_i,j,k是采样位置的元素，其值由采样张量确定；Ω为采样位置张量。

步骤3)中，利用因子矩阵A,B,C选择锚点的具体实现过程包括：

1)对时隙、天数和OD对切片进行编码，构建三个LSH表，根据每个维度的数据相关性将时隙、天数和OD对重新排序到X、Y和Z组；