[发明专利]一种基于多节点流量数据去重的大流量IP分析系统及方法

权利要求书

1.一种基于多节点流量数据去重的大流量独立IP分析系统，其特征在于，该系统包括：流量采集模块、过滤模块、流量聚合模块、流量排序模块和流量下钻模块，其中：

所述流量采集模块与所述过滤模块连接，用于采集流量数据，并将采集得到的流量数据发送给所述过滤模块；

所述过滤模块与所述流量采集模块和所述流量聚合模块连接，用于过滤从所述流量采集模块接收到的流量数据中不符合规定的数据；

所述流量聚合模块与所述过滤模块和所述流量排序模块连接，用于根据IP地址对经过过滤的流量数据进行聚合；

所述流量排序模块与所述流量聚合模块连接，用于对所述流量聚合模块产生的流量聚合结果进行排序，得到具有大流量的前K个IP地址；

所述流量下钻模块与所述流量排序模块连接，用于对大流量的多个IP地址进行下钻分析，找到大流量产生的原因；

所述流量下钻模块采用HASH算法对大流量的多个IP地址进行下钻分析，包括：

首先将原始采集到的流量数据散列到预定大小的散列表中，处理时以IP地址为序进行散列，但每个相同的IP地址并不仅仅散列到表中相同的条目中，而是依次排序保留，要保留的相同的IP地址的数量根据实际应用确定；

所述流量聚合模块首先根据IP地址对经过过滤的流量数据进行去重，然后聚合每个IP地址所产生的流量，最后根据IP地址对流量数据进行一维聚合。

2.根据权利要求1所述的系统，其特征在于，所述流量数据的采集包括针对固定IP地址段进行采集，对IP地址对进行采集，和/或对两个节点之间某个时间段内产生的所有流量数据进行采集。

3.根据权利要求1所述的系统，其特征在于，所述过滤模块采用线段树的黑名单过滤机制对流量数据进行过滤。

4.一种利用权利要求1所述的系统的基于多节点流量数据去重的大流量独立IP分析方法，其特征在于，该方法包括以下步骤：

步骤S1，采集流量数据；

步骤S2，过滤所述流量数据中不符合规定的数据；

步骤S3，根据IP地址对经过过滤的流量数据进行聚合；

步骤S4，对所述步骤S3得到的流量聚合结果进行排序，得到具有大流量的前K个IP地址；

步骤S5，对大流量的多个IP地址进行下钻分析，找到大流量产生的原因；

其中，步骤S5中采用HASH算法对大流量的多个IP地址进行下钻分析，包括：

首先将原始采集到的流量数据散列到预定大小的散列表中，处理时以IP地址为序进行散列，但每个相同的IP地址并不仅仅散列到表中相同的条目中，而是依次排序保留，要保留的相同的IP地址的数量根据实际应用确定。

5.根据权利要求4所述的方法，其特征在于，所述步骤S2采用线段树的黑名单过滤机制对所述流量数据进行过滤。

6.根据权利要求4所述的方法，其特征在于，所述步骤S3进一步包括以下步骤：

步骤S31，根据IP地址对经过过滤的流量数据进行去重；

步骤S32，聚合每个IP地址所产生的流量；

步骤S33，根据IP地址对流量数据进行一维聚合。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括步骤S6，将大流量产生的原因进行格式化处理，形成规定的格式后返回给用户。