[发明专利]数据采集系统和方法

摘要

本发明提供了数据采集系统和方法。数据采集系统可包括多个调度服务器和多个采集服务器。调度服务器可包括生成单元，生成采集任务；发送单元，将采集任务发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可包括拆分单元，将接收到的采集任务拆分为多个子任务；子任务发送单元，将多个子任务发送给多个调度服务器中当前处于待接收状态的调度服务器。调度服务器接收到的子任务可由调度服务器的发送单元发送给多个采集服务器中当前处于待接收状态的采集服务器。采集服务器可进一步包括执行单元，根据所接收的子任务，执行数据采集。通过本发明，可提高数据采集的效率，并能够利用分布式并行处理能力，实现针对海量数据的数据采集。

主权项

一种数据采集系统，包括：多个调度服务器和多个采集服务器，其中，调度服务器包括：生成单元，生成采集任务；以及发送单元，将所述采集任务发送给所述多个采集服务器中当前处于待接收状态的一个采集服务器，采集服务器包括：拆分单元，将接收到的采集任务拆分为多个子任务；以及子任务发送单元，将所述多个子任务发送给所述多个调度服务器中当前处于待接收状态的一个或多个调度服务器，其中，所述调度服务器的发送单元进一步将所述调度服务器接收到的子任务发送给所述多个采集服务器中当前处于待接收状态的采集服务器，采集服务器进一步包括：执行单元，根据所接收的子任务，执行数据采集。