[发明专利]信息抓取方法、装置、中央控制节点设备及分布式系统

说明书

技术领域

本发明涉及信息抓取技术领域，特别是涉及信息抓取方法、装置、中央控制节点设备及分布式系统。

背景技术

以爬虫为首的信息抓取技术可以从互联网中抓取大量的有用信息，为各种决策、分析提供数据支持。

爬虫在抓取信息过程中会将爬取的网页信息记录到本地的爬取历史中，当爬虫由于某些不可控因素而消亡时，爬虫首先重新启动，然后读取本地的爬取历史，将待抓取列表中的已抓取过的网页过滤掉，从而抓取新的网页的信息。

但是，当本地的爬取历史消失时，爬虫将无法读取消失的爬取历史中的数据，这就导致爬虫需要重新对待抓取列表中的所有网页进行抓取。由于待抓取列表中的很多网页爬虫已经抓取过，因此必然导致网页的重复抓取，降低了爬虫的网页抓取效率，浪费了大量的页面浏览量。

发明内容

本发明实施例的目的在于提供一种信息抓取方法、装置、中央控制节点设备及分布式系统，以提高了爬虫的网页抓取效率，节省了大量的页面浏览量。

为达到上述目的，本发明实施例公开了一种信息抓取方法，应用于分布式系统中的中央控制节点设备中，所述分布式系统包括所述中央控制节点设备和进行网页抓取的客户端子节点设备，所述中央控制节点设备与所述客户端子节点设备通信连接，所述方法包括：

获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

获得所述客户端子节点设备的工作状态；

在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识 返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取。

可选的，所述客户端子节点设备中保存有待抓取网页列表，所述待抓取网页列表中保存有所述客户端子节点设备的待抓取网页的网页标识，所述获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储，包括：获得所述客户端子节点设备在按照预设的抓取顺序对待抓取网页列表中的网页进行抓取时上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

所述在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取，包括：

在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续按照预设的抓取顺序从所述当前抓取的网页开始对待抓取网页列表中的网页对进行抓取。

可选的，还包括：对所述客户端子节点设备中保存的待抓取网页列表进行备份，在所述客户端子节点设备中保存的待抓取网页列表消失时，将与所述客户端子节点设备的标识对应的待抓取网页列表发送到所述客户端子节点设备中。

可选的，还包括：获得所述客户端子节点设备当前抓取的网页中的统一资源定位符URL，将获得的URL作为待抓取网页的网页标识放入所述待抓取网页列表中。

可选的，还包括：

获得并存储所述客户端子节点设备抓取的网页数据。

一种信息抓取装置，应用于分布式系统中的中央控制节点设备中，所述分布式系统包括所述中央控制节点设备和进行网页抓取的客户端子节点设备，所述中央控制节点设备与所述客户端子节点设备通信连接，所述装置包括：标识获得单元、状态获得单元和标识返回单元，

所述标识获得单元，用于获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

所述状态获得单元，用于获得所述客户端子节点设备的工作状态；

所述标识返回单元，用于在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取。

可选的，所述客户端子节点设备中保存有待抓取网页列表，所述待抓取网页列表中保存有所述客户端子节点设备的待抓取网页的网页标识，所述标识获得单元，具体用于：获得所述客户端子节点设备在按照预设的抓取顺序对待抓取网页列表中的网页进行抓取时上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

所述标识返回单元，具体用于：在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续按照预设的抓取顺序从所述当前抓取的网页开始对待抓取网页列表中的网页对进行抓取。