[发明专利]一种基于分布式集群的数据采集系统及方法

说明书

技术领域

本发明涉及网络通信技术领域，尤其涉及一种基于分布式集群的数据采集系统；本发明还涉及一种基于分布式集群的数据采集方法。

背景技术

当前，随着网络信息技术的不断发展，大数据时代已经到来。针对海量数据的挖掘与分析已经成为当今的研究热点，而数据采集是数据挖掘与分析的基础。

在数据采集的过程中，数据采集的实时性与采集数据时系统所消耗的资源是一对相互矛盾的量，当需要提高数据的实时性时，需要加快对数据的扫描速率，但同时会产生更多的数据，从而增加系统消耗所需要的资源。

在当今社会中，通常是通过分布式集群数据采集系统对大量数据进行采集。在现有技术中，通常是有一个主采集节点和若干个子采集节点，其中主采集节点用于控制各子采集节点进行数据的采集，以及对数据进行储存等等，而子采集节点通常仅用于对数据进行采集。主采集节点通常是通过统一的频率获取各个子采集节点所采集的数据。

但是在现有技术中，通常会出现对于变化较快的数据进行采集时，其实时性较差；或者是对于变化较慢的数据进行采集时，其系统资源发生了浪费。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据采集系统，可以针对不同变化速率的数据采用不同的采集频率；本发明的另一目的在于提供一种数据采集方法，可以提高数据采集的实时性或者是减少系统资源的浪费。

为了解决上述问题，本发明提供了一种基于分布式集群的数据采集系统，所述系统包括主采集节点、数据解析模块和多个子采集节点；

所述主采集节点连接多个所述子采集节点，所述子采集节点用于采集数据，所述主采集节点用于接收各个所述子采集节点采集的数据；

所述数据解析模块用于分别计算各个所述子采集节点采集的数据的变化速率；

所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率。

可选的，所述数据解析模块为多个，所述数据解析模块与所述子采集节点一一对应的连接。

可选的，所述数据解析模块为一个，所述数据解析模块连接每个所述子采集节点。

可选的，所述子采集节点还用于存储自身当前采集数据的频率。

可选的，所述系统进一步包括数据库配置同步模块；

所述数据库配置同步模块用于向各个所述子采集节点采集的数据添加统一的时间坐标。

本发明还提供了一种基于分布式集群的数据采集方法，所述方法包括：

数据解析模块获取子采集节点采集的数据；

所述数据解析模块计算各个所述子采集节点所采集的各组数据的变化速率；

所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率，所述子采集节点将采集的数据发送至主采集节点。

可选的，所述数据解析模块根据所述变化速率改变所述子采集节点的数据采集频率包括：

所述数据解析模块根据所述变化速率和预先设定的对应关系得到所述子采集节点的理论数据采集频率；

所述数据解析模块将所述数据采集频率调节至所述理论数据采集频率。

可选的，所述数据解析模块根据所述变化速率改变所述子采集节点的数据采集频率包括：

所述数据解析模块判断所述变化速率是否大于预先设定的第一阈值，若是，则降低所述数据采集频率；

所述数据解析模块判断所述变化速率是否小于预先设定的第二阈值，若是，则提高所述数据采集频率。

可选的，所述方法进一步包括：

数据库配置同步模块向各个所述子采集节点采集的数据添加统一的时间坐标。

本发明所提供的系统，包括了数据解析模块，所述数据解析模块会计算各个子采集节点所采集的各组数据的变化速率，并根据变化速率调节各个所述子采集节点的数据采集频率，从而使得各个子采集节点的采集频率与其所采集到的数据的变化速率相适应，以此来增加对于变化速率较快的数据采集的实时性，或者是减少当采集的数据的变化速率较慢时，所述采集到的数据对于系统资源的占用。本发明还提供了一种基于分布式集群的数据采集方法，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。

图1为本发明实施例所提供的第一种数据采集系统的结构示意图；