[发明专利]网络爬虫系统和基于网络爬虫系统的数据处理方法

说明书

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种网络爬虫系统和基于网络爬虫系统的数据处理方法。

背景技术

当前互联网上拥有海量的信息，人们想要获取这些信息，就需要用到网络爬虫。传统的网络爬虫分为单机式以及集群式两种。

单机爬虫将爬取、处理、存储等组件都部署在同一台机器上，或者直接编写在同一个程序中。这种方法的优点是易于部署、迁移、维护，成本低，不足点是性能依赖于单机性能，不易于扩展，遇到性能瓶颈时不能自动调整。

集群式爬虫将所有的程序部署到一个机器集群中，集群中每台机器可以单独负责某一职责，也可以负责多个职责。这种方法的优点是性能可配置，能最大化利用系统资源，爬虫的配置可以弹性伸缩，比单机版的效率要高。缺点是部署复杂，组建之间依赖关系紧密，架构封闭性强，不易于扩展以及维护，架设成本比较高。

针对现有技术中网络爬虫的多个组件部署在同一台机器，或部署于多个机器但各个组件之间关系紧密，导致不易于拓展和维护的技术问题的，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网络爬虫系统和基于网络爬虫系统的数据处理方法，以至少解决现有技术中网络爬虫的多个组件部署在同一台机器，或部署于多个机器但各个组件之间关系紧密，导致不易于拓展和维护的技术问题。

根据本发明实施例的一个方面，提供了一种网络爬虫系统，包括：多个功能模块，其中，每个功能模块之间能够相互进行通信；多个功能模块中的任一功能模块在接收到任务后，根据任务对应的流转信息，确定执行任务的功能模块以及任务的执行顺序，并将任务发送给相应的功能模块，以使功能模块按照执行顺序执行任务。

进一步地，多个功能模块至少包括：网页爬取模块，用于根据有效链接地址，从互联网上获取有效链接地址对应的网页内容；结果处理模块，用于将任务的执行结果存储于相应的存储区域，并结束本次任务；或者，在任务的执行结果出现错误或接收到预设指令后，生成新的待执行任务。

进一步地，多个功能模块还包括：链接抽取模块，用于从网页内容中抽取有效链接；和/或网页处理模块，用于对网页内容进行第一预设处理，其中，第一预设处理包括：网页筛选和/或链接筛选；和/或链接处理模块，用于对有效链接进行第二预设处理，其中，第二预设处理包括：变形、删除和/或添加。

进一步地，其特征在于，系统还包括：中央模块，用于保存每个功能模块的注册地址，并且能够与每个功能模块进行通信。

进一步地，每个功能模块包括：地址获取单元，用于根据执行顺序获取目标功能模块的注册地址,目标功能模块为接收当前功能模块任务执行结果的功能模块；接收单元，用于接收任务；处理单元，用于执行任务；发送单元，用于将任务的执行结果发送给目标功能模块。

进一步地，每个功能模块还包括：第一资源调整单元，用于在任务的等待时间超过预设时间的情况下，增加处理单元的数量；第二资源调整单元，用于在执行任务的资源消耗超过预设阈值的情况下，减少处理单元的数量。

根据本发明实施例的一个方面，提供了一种基于网络爬虫系统的数据处理方法，其中，网络爬虫系统为上述实施例中任意一种网络爬虫系统，方法包括：多个功能模块中的任一功能模块在接收到任务后，根据任务对应的流转信息，确定执行任务的功能模块以及任务的执行顺序；将任务发送给相应的功能模块，以使功能模块按照执行顺序执行任务。

进一步地，上述方法还包括：根据有效链接地址，从互联网上获取有效链接地址对应的网页内容；将任务的执行结果存储于相应的存储区域，并结束本次任务；或者，在任务的执行结果出现错误或接收到预设指令后，生成新的待执行任务；和/或从网页内容中抽取有效链接；和/或对网页内容进行第一预设处理，其中，第一预设处理包括：网页筛选和/或链接筛选；和/或对有效链接进行第二预设处理，其中，第二预设处理包括：变形、删除和/或添加。

进一步地，将任务发送给相应的功能模块，包括：获取相应的功能模块的注册地址；根据注册地址将所述任务发送给相应的功能模块。

进一步地，在任务的等待时间超过预设时间的情况下，增加处理单元的数量；在执行任务的资源消耗超过预设阈值的情况下，减少处理单元的数量。