[发明专利]网络爬虫系统和基于网络爬虫系统的数据处理方法

权利要求书

1.一种网络爬虫系统，其特征在于，包括：多个功能模块，其中，每个所述功能模块之间能够相互进行通信；

所述多个功能模块中的任一功能模块在接收到任务后，根据所述任务对应的流转信息，确定执行所述任务的功能模块以及所述任务的执行顺序，并将所述任务发送给相应的功能模块，以使所述功能模块按照所述执行顺序执行所述任务。

2.根据权利要求1所述的系统，其特征在于，所述多个功能模块至少包括：

网页爬取模块，用于根据有效链接地址，从互联网上获取所述有效链接地址对应的网页内容；

结果处理模块，用于将所述任务的执行结果存储于相应的存储区域，并结束本次任务；或者，在所述任务的执行结果出现错误或接收到预设指令后，生成新的待执行任务。

3.根据权利要求2所述的系统，其特征在于，所述多个功能模块还包括：

链接抽取模块，用于从所述网页内容中抽取有效链接；和/或

网页处理模块，用于对所述网页内容进行第一预设处理，其中，所述第一预设处理包括：网页筛选和/或链接筛选；和/或

链接处理模块，用于对所述有效链接进行第二预设处理，其中，所述第二预设处理包括：变形、删除和/或添加。

4.根据权利要求1至3任一项所述的系统，其特征在于，所述系统还包括：

中央模块，用于保存每个所述功能模块的注册地址，并且能够与每个所述功能模块进行通信。

5.根据权利要求4所述的系统，其特征在于，每个所述功能模块包括：

地址获取单元，用于根据所述执行顺序获取目标功能模块的注册地址,所述目标功能模块为接收当前功能模块任务执行结果的功能模块；

接收单元，用于接收所述任务；

处理单元，用于执行所述任务；

发送单元，用于将所述任务的执行结果发送给所述目标功能模块。

6.根据权利要求5所述的系统，其特征在于，每个所述功能模块还包括：

第一资源调整单元，用于在所述任务的等待时间超过预设时间的情况下，增加所述处理单元的数量；

第二资源调整单元，用于在执行所述任务的资源消耗超过预设阈值的情况下，减少所述处理单元的数量。

7.一种基于网络爬虫系统的数据处理方法，其特征在于，所述网络爬虫系统为权利要求1至6中任一项所述的网络爬虫系统，所述方法包括：

所述多个功能模块中的任一功能模块在接收到任务后，根据所述任务对应的流转信息，确定执行所述任务的功能模块以及所述任务的执行顺序；

将所述任务发送给相应的功能模块，以使所述功能模块按照所述执行顺序执行所述任务。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

根据有效链接地址，从互联网上获取所述有效链接地址对应的网页内容；

将所述任务的执行结果存储于相应的存储区域，并结束本次任务；或者，在所述任务的执行结果出现错误或接收到预设指令后，生成新的待执行任务；和/或

从所述网页内容中抽取有效链接；和/或

对所述网页内容进行第一预设处理，其中，所述第一预设处理包括：网页筛选和/或链接筛选；和/或

对所述有效链接进行第二预设处理，其中，所述第二预设处理包括：变形、删除和/或添加。

9.根据权利要求7或8所述的方法，其特征在于，所述将所述任务发送给相应的功能模块，包括：

获取所述相应的功能模块的注册地址；

根据所述注册地址将所述任务发送给所述相应的功能模块。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在所述任务的等待时间超过预设时间的情况下，增加处理单元的数量；

在执行所述任务的资源消耗超过预设阈值的情况下，减少所述处理单元的数量。