[发明专利]一种基于数据去重的分布式数据挖掘与统计方法

说明书

本发明公开了一种基于数据去重的分布式数据挖掘与统计方法，分布式服务器集群遍历数据包所有数据，并根据用户配置的数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别判断数据是否重复，若不重复则保留，否则删除重复多余的数据。本发明通过分布式处理原始数据，从而大大的降低数据包的数量级别，大大降低了用户配置复杂挖掘条件的难度，强化了数据挖掘的针对性，大幅提升了数据挖掘的效率。

技术领域

本发明属于网络流量分析技术领域，尤其涉及一种基于数据去重的分布式数据挖掘与统计方法。

背景技术

随着计算机技术和互联网的发展，宽带速率的提高和费用的降低，使得人们的生活和工作与网络的联系愈发紧密，网络数据包数量呈几何级增长。对于目前的网络流量数据分析，即使是经验丰富的分析员，一天也最多只能分析约1700000个数据包。而据统计一个家庭一周所产生的数据包能够达到1亿级别，已然不是一个可以轻易分析的量级。若是采集一个公司、学校、政府等端点的流量，数据包将是一个天文级别。数据量级大、数据复杂程度高、数据处理慢等严重影响着数据挖掘与统计效率。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于数据去重的分布式数据挖掘与统计方法，包括如下步骤：

S1:系统获取网络流量数据包；

S2:中心服务器进行负载均衡后将数据包拆分发送至分布式服务器集群；

S3:用户配置数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别根据数据聚合挖掘条件对数据进行匹配挖掘；

S4:中心服务器合并匹配挖掘到的数据；

S5:用户配置数据聚合挖掘条件，系统遍历所有数据会话，系统再次对数据进行匹配挖掘；

S6:输出聚合挖掘数据结果。

本发明的有益效果在于：本发明通过分布式处理原始数据，从而大大的降低数据包的数量级别，提高分析效率，且数据量越大效果越明显；通过数据去重的聚合条件配置与挖掘，再辅以后端服务器集群的多任务智能化调度与多路并发数据挖掘运算，大大降低了用户配置复杂挖掘条件的难度，强化了数据挖掘的针对性，通过智能化和多路并发加成大幅提升了数据挖掘的效率。

附图说明

图1是本发明的流程图；

图2是本发明的系统图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明一种基于数据去重的分布式数据挖掘与统计方法，包括如下步骤：

S1:系统获取网络流量数据包；

S2:中心服务器进行负载均衡后将数据包拆分发送至分布式服务器集群；

S3:分布式服务器集群遍历数据包所有数据，并根据用户配置的数据聚合挖掘条件，分布式服务器集群中各个服务器节点分别判断数据是否重复，若不重复则保留，否则删除重复多余的数据；

S4:中心服务器合并去重后的数据；

S5:中心服务器遍历去重后的数据，并根据用户配置数据聚合挖掘条件，判断数据是否重复，若不重复则保留，否则删除重复多余的数据；

S6:系统输出聚合挖掘数据结果。

进一步的，所述S2中负载均衡过程中心服务器是根据分布式服务器集群中各服务器节点的硬件配置性能和当前负载来分配任务量的。

进一步的，所述S3中的匹配挖掘过程是根据用户配置条件对数据流量包中七元组信息的匹配。