[发明专利]一种基于数据去重的分布式数据挖掘与统计方法

权利要求书

1.一种基于数据去重的分布式数据挖掘与统计方法，其特征在于，包括如下步骤：

S1:系统获取网络流量数据包；

S2:中心服务器进行负载均衡后将数据包拆分发送至分布式服务器集群；

S3:分布式服务器集群遍历数据包所有数据，并根据用户配置的数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别判断数据是否重复，若不重复则保留，否则删除重复多余的数据；

S4:中心服务器合并去重后的数据；

S5:中心服务器遍历去重后的数据，并根据用户配置数据聚合挖掘条件，判断数据是否重复，若不重复则保留，否则删除重复多余的数据；

S6:系统输出聚合挖掘数据结果。

2.根据权利要求1所述一种基于数据去重的分布式数据挖掘与统计方法，其特征在于，所述S2中负载均衡过程中心服务器是根据分布式服务器集群中各服务器节点的硬件配置性能和当前负载来分配任务量的。

3.根据权利要求1所述一种基于数据去重的分布式数据挖掘与统计方法，其特征在于，所述S3中的匹配挖掘过程是根据用户配置条件对数据流量包中七元组信息的匹配。

4.根据权利要求1所述一种基于数据去重的分布式数据挖掘与统计方法，其特征在于，所述S5中的中心服务器合并数据为异步操作，只要收到一个分布式节点中的结果返回便进行一次合并计算。

5.根据权利要求1所述一种基于数据去重的分布式数据挖掘与统计方法，其特征在于，所述S5具体包括：用户配置数据聚合挖掘条件，系统遍历所有数据会话，判断回话是否为系统第一次遇到的会话，若是则保留该会话，否则舍去该会话。

6.根据权利要求1所述一种基于数据去重的分布式数据挖掘与统计方法，其特征在于，所述S5中用户配置数据挖掘条件为源地址与源端口的会话。