[发明专利]数据采集系统和方法

权利要求书

1.一种数据采集系统，包括：多个调度服务器和多个采集服务器，其中，

调度服务器包括：生成单元，生成采集任务；以及发送单元，将所述采集任务发送给所述多个采集服务器中当前处于待接收状态的一个采集服务器，

采集服务器包括：拆分单元，将接收到的采集任务拆分为多个子任务；以及子任务发送单元，将所述多个子任务发送给所述多个调度服务器中当前处于待接收状态的一个或多个调度服务器，

其中，所述调度服务器的发送单元进一步将所述调度服务器接收到的子任务发送给所述多个采集服务器中当前处于待接收状态的采集服务器，

采集服务器进一步包括：执行单元，根据所接收的子任务，执行数据采集。

2.如权利要求1所述的系统，其中，所述调度服务器的发送单元通过第一消息队列向所述多个采集服务器发送采集任务和子任务，所述采集服务器的子任务发送单元通过第二消息队列向所述多个调度服务器发送子任务。

3.如权利要求1所述的系统，其中，所述拆分单元包括：

解析模块，解析接收到的采集任务以得到待采集数据存储服务器的信息；

获取模块，根据所述待采集数据存储服务器的信息，访问所述待采集数据存储服务器，以获取待采集数据相关信息；以及

处理模块，根据所述待采集数据相关信息，将所述接收到的采集任务拆分为多个子任务。

4.如权利要求3所述的系统，其中，所述接收到的采集任务被所述处理模块拆分而形成的多个子任务中的每一个所对应的待采集数据量为预定大小。

5.如权利要求4所述的系统，其中，所述待采集数据存储服务器是FTP文档服务器，所述待采集数据相关信息包括所述FTP文档服务器的文件列表和各文件的大小。

6.如权利要求4所述的系统，其中，所述待采集数据存储服务器是数据库服务器，所述待采集数据相关信息包括所述数据库服务器中数据表各字段类型和最大存储容量。

7.一种数据采集方法，包括：

多个调度服务器的其中之一生成采集任务，将所述采集任务发送给多个采集服务器；

所述多个采集服务器中当前处于待接收状态的一个采集服务器接收所述采集任务，将所述采集任务拆分为多个子任务，并将所述多个子任务发送给所述多个调度服务器；

所述多个调度服务器中当前处于待接收状态的一个或多个调度服务器接收所述多个子任务，并将所述多个子任务发送给所述多个采集服务器；以及

多个采集服务器中当前处于待接收状态的一个或多个采集服务器接收所述多个子任务，并根据所接收的每个子任务，执行数据采集。

8.如权利要求7所述的方法，其中，所述调度服务器通过第一消息队列向所述多个采集服务器发送采集任务和子任务，所述采集服务器通过第二消息队列向所述多个调度服务器发送子任务。

9.如权利要求6所述的方法，采集服务器将采集任务拆分为多个子任务的步骤包括：

解析所述采集任务以得到待采集数据存储服务器的信息；

根据所述待采集数据存储服务器的信息，访问所述待采集数据存储服务器，以获取待采集数据相关信息；以及

根据所述待采集数据相关信息，将所述采集任务拆分为多个子任务。

10.如权利要求9所述的方法，其中，由所述采集任务拆分形成的多个子任务中的每一个所对应的待采集数据量为预定大小。

11.如权利要求10所述的方法，其中，所述待采集数据存储服务器是FTP文档服务器，所述待采集数据相关信息包括所述FTP文档服务器中的文件列表和各文件的大小。

12.如权利要求10所述的方法，其中，所述待采集数据存储服务器是数据库服务器，所述待采集数据相关信息包括所述数据库服务器中数据表各字段类型和最大存储容量。