[发明专利]一种数据采集系统、方法、设备及存储介质

权利要求书

1.一种数据采集系统，其特征在于，包括：

数据指挥模块，用于指示数据采集模块获取数据，并向数据同步模块发送同步信号；

数据采集模块，用于向数据源发送获取数据请求，并接收发送的数据；

数据同步模块，用于接收所述数据指挥模块的同步信号，同时向各个数据采集模块发送同步命令；

数据存储模块，用于存储数据采集模块采集的数据。

2.根据权利要求1所述的一种数据采集系统，其特征在于，所述数据采集模块包括多个数据处理单元和数据分配单元；

所述数据采集模块中第一数据处理单元用于当获取到数据源的数据时，指示所述数据源提供下一批数据；所述数据采集模块中任一个数据处理单元用于对已接收到的任一批数据执行对应的数据处理操作时，接收下一批数据；所述数据采集模块中最后数据处理单元用于将处理后的数据存储至所述数据存储模块中；

所述数据分配单元根据实际业务需求将多种数据处理操作分配给不同的数据处理单元。

3.根据权利要求2所述的一种数据采集系统，其特征在于，还包括溯源码；所述溯源码通过所述数据采集模块向数据源请求得到。

4.根据权利要求2所述的一种数据采集系统，其特征在于，所述数据存储模块，还包括溯源码识别单元，用于识别溯源码，查询对应的数据来源。

5.根据权利要求2所述的一种数据采集系统，其特征在于，还包括：第二数据存储模块，用于存储所述数据采集模块当前处理数据的快照单元；所述快照单元用于指示当前处理数据的数据处理单元；通过所述快照单元恢复当前数据处理单元的数据。

6.一种数据采集方法，其特征在于，具体步骤包括如下：

数据指挥模块指示数据采集模块获取数据，并向数据同步模块发送同步信号；

各个数据采集模块接收所述数据指挥模块指令向数据源发送获取数据请求，并接收发送的数据；

同时，数据同步模块接收所述数据指挥模块的同步信号，向各个数据采集模块发送同步命令；

数据存储模块存储数据采集模块采集的数据。

7.根据权利要求6所述的一种数据采集方法，其特征在于，所述数据采集模块中第一数据处理单元获取到数据源的数据时，指示所述数据源提供下一批数据；所述数据采集模块中任一个数据处理单元对已接收到的任一批数据执行对应的数据处理操作时，接收下一批数据；所述数据采集模块中最后数据处理单元用于将处理后的数据存储至所述数据存储模块中；

所述数据分配单元根据实际业务需求将多种数据处理操作分配给不同的数据处理单元。

8.根据权利要求6所述的一种数据采集方法，其特征在于，根据所述数据采集模块向数据源请求得到溯源码，查询对应的数据来源。

9.一种数据采集设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求6-8任一项所述的数据采集方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据采集系统的控制程序，所述数据采集系统的控制程序被处理器执行时实现如权利要求6-8中任一项所述的数据采集方法的步骤。