[发明专利]一种基于多节点流量数据去重的大流量IP分析系统及方法

说明书

技术领域

本发明属于大流量及大数据分析技术领域，尤其是一种基于多节点流量数据去重的大流量IP分析系统及方法。

背景技术

为了及时对网络进行管理，必须随时掌握链路上的流量信息，然后才能进行针对性的优化、部署和调度各种资源。同时，在采集到流量数据后，需要首先对流量数据进行分析整理，提取有价值的摘要信息报告给网络管理员，但是直接采集到的原始流量数据是不可用的，这是因为虽然详细的报文级信息能无损的反映网络状况，但由于数据量巨大，这对管理员来说是完全不可用的。

从实际应用的角度出发，流量报告应需要提供尽可能详细、可用的信息，使管理员只通过少量的摘要信息就能够掌握全局概况；另一方面，由于高速链路流量巨大，采集到的原始流量需要按照一些标准进行聚合，提取其中的“主要”流量模式，这些“主要”流量模式的流量超过总流量一定百分比的流量。

流量聚合就可以用于解决上述数据量过大过细的问题，流量聚合泛指将多个较低速率的业务流合并在一个高带宽的信道中进行传送，也可以称为流量汇聚、流量疏导或业务量疏导。流量聚合的目的是提取链路上的主要流量模式，防止带宽浪费。由于网络流量具有多维属性，为了全面了解流量构成和主要流量模式，需要对原始流量进行一维和多维的聚合，并将聚合后超过总流量百分比的流量模式提取出来作为对网络流量构成的总体概括，然后再对某类地址所产生的聚合流量进行具体的基于IP地址的流量分析，即一维分析，其中，一维聚合是指在一个维度上对流量进行聚合，是流量聚合的一种最简单的情况，也是多维流量聚合算法的基础。

发明内容

为了解决上述技术问题，本发明提出了一种基于多节点流量数据去重的大流量IP分析系统及方法，本发明在获得总流量后按照IP地址进行去重，聚合出其产生的总量，并进行排序；针对排序后的结果进行主动正向分析，使对具体流量的知晓变得有针对性、有目的性、而非盲目地从大量数据中查询。

根据本发明的一方面，提出一种基于多节点流量数据去重的大流量独立IP分析系统，该系统包括：流量采集模块、过滤模块、流量聚合模块、流量排序模块和流量下钻模块，其中：

所述流量采集模块与所述过滤模块连接，用于采集流量数据，并将采集得到的流量数据发送给所述过滤模块；

所述过滤模块与所述流量采集模块和所述流量聚合模块连接，用于过滤从所述流量采集模块接收到的流量数据中不符合规定的数据；

所述流量聚合模块与所述过滤模块和所述流量排序模块连接，用于根据IP地址对经过过滤的流量数据进行聚合；

所述流量排序模块与所述流量聚合模块连接，用于对所述流量聚合模块产生的流量聚合结果进行排序，得到具有大流量的前K个IP地址；

所述流量下钻模块与所述流量排序模块连接，用于对大流量的多个IP地址进行下钻分析，找到大流量产生的原因。

根据本发明的另一方面，还提出一种基于多节点流量数据去重的大流量独立IP分析方法，该方法包括以下步骤：

步骤S1，采集流量数据；

步骤S2，过滤所述流量数据中不符合规定的数据；

步骤S3，根据IP地址对经过过滤的流量数据进行聚合；

步骤S4，对所述步骤S3得到的流量聚合结果进行排序，得到具有大流量的前K个IP地址；

步骤S5，对大流量的多个IP地址进行下钻分析，找到大流量产生的原因。

采用上述方案，通过添加黑名单过滤机制，使得对大流量的聚合及后期流量分析的效率大大提高。其中，流量排序模块能使得对所采集的流量有一个快速的宏观了解，对于前K名的IP产生的流量继续提供下钻功能，反查IP的具体流量产生信息，提供流量监控功能，同时为黑名单列表提供依据。较之传统的流量采集数据对管理员的高操控性要求，本发明能够更为简便有效地提供高度定制的数据，更加直观实用。

附图说明

图1是本发明基于多节点流量数据去重的大流量独立IP分析系统的结构示意图；

图2是添加“目的IP唯一数”限制的示意图；

图3是本发明基于多节点流量数据去重的大流量独立IP分析方法的流程图；

图4是IP地址排序算法示意图；

图5是IP地址下钻分析示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。