[发明专利]一种数据采集系统、方法、设备及存储介质

说明书

本发明公开了一种数据采集系统、方法、设备及存储介质，数据指挥模块指示数据采集模块获取数据，并向数据同步模块发送同步信号；各个数据采集模块接收所述数据指挥模块指令向数据源发送获取数据请求，并接收发送的数据；同时，数据同步模块接收所述数据指挥模块的同步信号，向各个数据采集模块发送同步命令；数据存储模块存储数据采集模块采集的数据。本发明保证数据采集系统可以同时针对多批数据进行处理，避免数据处理单元要等待其他数据处理单元处理操作完成才能处理数据的问题，提高了数据采集的效率，节省时间；而且数据同步模块向各个数据采集模块发送同步命令，解决了现有技术中多个数据采集端不能实现同步采集的问题。

技术领域

本发明涉及数据采集技术领域，更具体的说是涉及一种数据采集系统、方法、设备及存储介质。

背景技术

随着大数据技术的发展以及网络中海量数据的飞速增长，数据采集的挑战变得尤为突出。数据采集是指对数据源中的数据经过一系列的处理操作，最终将处理操作后的数据存储至存储源的过程。通过进行数据采集，可以帮助人们管理、分析和挖掘数据，具有巨大的经济和应用价值。

目前数据采集系统通常采用单机多线程的架构，基于同步方式进行数据采集：数据采集终端包括多个线程，每个线程用于执行一种数据处理操作，在数据采集的过程中，当数据源提供了一批数据时，第一个线程从数据源拉取这批数据，对数据进行处理后，将处理后的数据发送给第二个线程，第二个线程接收第一个线程的数据，对数据进行处理后，将处理后的数据发送给第三个线程，依次类推，最后一个线程接收数据并对数据进行处理后，会将处理后的数据存储至存储源中。之后，最后一个线程会通知数据源其提供的这批数据已经成功存储入库，数据源得到通知后，会提供下一批数据，则第一个线程会继续从数据源拉取下一批数据，依次类推。任一时刻整个数据采集系统只能针对一批数据进行处理，每个线程均要等待其他线程处理这批数据完毕后才能开始接收并处理下一批数据，数据采集的效率极低。

然而，在根据多个采集终端构建的具有分布式特性的数据采集系统中，基于每个采集终端的淡季多线程架构，数据采集的效率自然更慢，并且由于分布式系统去中心化的特点，各个采集终端之间相对独立，难以统一控制多个采集终端同步获取采集对象(如环网柜)的数据，若采集到的数据的时间不统一，就不能实现基于某个时间点对采集对象的运行状态进行全方位分析。

因此，如何提供一种数据采集效率高，且能对各个采集终端进行同步采集的数据采集系统、方法、设备及存储介质是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种数据采集系统、方法、设备及存储介质，可以解决相关技术中数据采集效率低、不能同步采集的问题。

为了实现上述目的，本发明提供如下技术方案：

一种数据采集系统，包括：

数据指挥模块，用于指示数据采集模块获取数据，并向数据同步模块发送同步信号；

数据采集模块，用于向数据源发送获取数据请求，并接收所述数据源发送的数据；

数据同步模块，用于接收所述数据指挥模块的同步信号，同时向各个数据采集模块发送同步命令；

数据存储模块，用于存储数据采集模块采集的数据。

在本发明的技术方案中，数据采集系统中不同数据处理单元可以异步处理不同批次的数据，每个数据处理单元处理完当前的数据即可自动处理下一批数据，无需等待其他数据处理模块处理完成。

优选的，在上述的一种数据采集系统中，所述数据采集模块包括多个数据处理单元和数据分配单元；