[发明专利]一种基于抽样的网络流量测量算法

说明书

技术领域

本发明涉及网络流量测量工程技术领域，尤其是一种基于抽样的网络流量测量算法。

背景技术

由于网络链路速率的不断提高和网络数据流的急剧增加，捕获每个报文信息或流信息进行存储和分析已变的不可能，抽样技术的引入有效的解决了该瓶颈问题，基于抽样的网络流量测量算法成为了近年来网络流量测量领域的重点研究内容之一。

虽然抽样技术一定程度上提高了流量测量的有效性和可行性，但由于高速网络流量大，复杂性和异构性的日益加强，网络处理和存储资源的不足，基本的抽样方法已难以满足现实的需要，继而衍生出了基于流的抽样测量、抽样和哈希结合的测量以及基于Bloom Filter的抽样测量等流量测量算法。

基本的抽样方法广泛存在对小流数据抽样不足的缺点，致使大量流分布信息丢失，不能有效获得网络流的真实分布情况，因此，有必要以更加公平的方式对网络流进行抽样，本发明设计了基于Counting Bloom Filter结构的网络流等概率抽样算法。

发明内容

本发明所要解决的技术问题在于，提供一种基于抽样的网络流量测量算法，能够实现对网络流的等概率抽样，做到既能对网络流量数据进行缩减，又能保留网络流量数据的特征信息，节省系统的存储资源。

为解决上述技术问题，本发明提供一种基于抽样的网络流量测量算法，包括如下步骤：

(1)对Counting Bloom Filter结构的参数进行合理配置；

(2)利用Counting Bloom Filter结构判定到来的数据分组所属网络流是否为新流；

(3)如果到来的数据分组被判定为新流，将该新流插入到Counting Bloom Filter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为f为整个算法的抽样频率，以调整后的频率对新流进行随机抽样，并继续处理下一分组，重复步骤(2)继续循环；

(4)如果判定为没有新流到达，则继续处理下一分组，重复步骤(2)继续循环。

优选的，步骤(1)中，若Counting Bloom Filter结构中的每个Counter分配4位，则当Counter值到达16时就溢出的概率为：F≤1.37×10^-15×m，m为Counter个数，为每个Counter分配4位；当哈希函数个数k＝(ln2)·(m/n)时错误率最小，其中，n为Counting Bloom Filter所表示集合的元素个数，在错误率不大于E的情况下，为保证Counter数组里至少一半为0，m应该满足条件：m≥n·log₂(1/E)·log₂e，为n·log₂(1/E)的1.44倍。

优选的，步骤(2)中，当一个分组到达时，首先解析其流标识，计算其流标识的k个哈希函数值，若Counting Bloom Filter结构中对应的k个Counter值均大于或等于1，则判定为没有新流到达，否则判定为有新流到达。

优选的，步骤(3)中，如果到来的数据分组被判定为新流，先将该流插入到Counting Bloom Filter中，对应的k个Counter值分别加1，流计数器加1，根据已插入的流个数计算误差概率P；误差概率即为Counting Bloom Filter的误判率：式中n为已插入的网络流个数，继而调整抽样频率为保证对任意新流的抽样频率都等于f，以调整后的频率对新流进行随机抽样，完成抽样后继续处理下一分组，重复第二步继续循环。

本发明的有益效果为：本发明实现对网络流的等概率抽样，做到既能对网络流量数据进行缩减，又能保留网络流量数据的特征信息，节省系统的存储资源。

附图说明

图1为本发明的框架结构示意图。

图2为本发明的算法流程示意图。

具体实施方式

如图1所示，一种基于抽样的网络流量测量算法，包括如下步骤：

(1)对Counting Bloom Filter结构的参数进行合理配置；

(2)利用Counting Bloom Filter结构判定到来的数据分组所属网络流是否为新流；

(3)如果到来的数据分组被判定为新流，将该新流插入到Counting Bloom Filter中，流计数器加1，根据已插入的流个数计算误差概率P，同时调整抽样频率为f为整个算法的抽样频率，以调整后的频率对新流进行随机抽样，并继续处理下一分组，重复步骤(2)继续循环；