[发明专利]信息抓取方法、装置、中央控制节点设备及分布式系统

权利要求书

1.一种信息抓取方法，其特征在于，应用于分布式系统中的中央控制节点设备中，所述分布式系统包括所述中央控制节点设备和进行网页抓取的客户端子节点设备，所述中央控制节点设备与所述客户端子节点设备通信连接，所述方法包括：

获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

获得所述客户端子节点设备的工作状态；

在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取。

2.根据权利要求1所述的方法，其特征在于，所述客户端子节点设备中保存有待抓取网页列表，所述待抓取网页列表中保存有所述客户端子节点设备的待抓取网页的网页标识，所述获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储，包括：获得所述客户端子节点设备在按照预设的抓取顺序对待抓取网页列表中的网页进行抓取时上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

所述在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取，包括：

在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续按照预设的抓取顺序从所述当前抓取的网页开始对待抓取网页列表中的网页对进行抓取。

3.根据权利要求2所述的方法，其特征在于，还包括：对所述客户端子节点设备中保存的待抓取网页列表进行备份，在所述客户端子节点设备中保存的待抓取网页列表消失时，将与所述客户端子节点设备的标识对应的待抓取网页列表发送到所述客户端子节点设备中。

4.根据权利要求2所述的方法，其特征在于，还包括：获得所述客户端子节点设备当前抓取的网页中的统一资源定位符URL，将获得的URL作为待抓取网页的网页标识放入所述待抓取网页列表中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

获得并存储所述客户端子节点设备抓取的网页数据。

6.一种信息抓取装置，其特征在于，应用于分布式系统中的中央控制节点设备中，所述分布式系统包括所述中央控制节点设备和进行网页抓取的客户端子节点设备，所述中央控制节点设备与所述客户端子节点设备通信连接，所述装置包括：标识获得单元、状态获得单元和标识返回单元，

所述标识获得单元，用于获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

所述状态获得单元，用于获得所述客户端子节点设备的工作状态；

所述标识返回单元，用于在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取。

7.根据权利要求6所述的装置，其特征在于，所述客户端子节点设备中保存有待抓取网页列表，所述待抓取网页列表中保存有所述客户端子节点设备的待抓取网页的网页标识，所述标识获得单元，具体用于：获得所述客户端子节点设备在按照预设的抓取顺序对待抓取网页列表中的网页进行抓取时上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；

所述标识返回单元，具体用于：在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续按照预设的抓取顺序从所述当前抓取的网页开始对待抓取网页列表中的网页对进行抓取。

8.根据权利要求7所述的装置，其特征在于，还包括：备份单元，用于对所述客户端子节点设备中保存的待抓取网页列表进行备份，在所述客户端子节点设备中保存的待抓取网页列表消失时，将与所述客户端子节点设备的标识对应的待抓取网页列表发送到所述客户端子节点设备中。

9.一种中央控制节点设备，其特征在于，包括权利要求6至9中任一项所述的信息抓取装置。

10.一种分布式系统，其特征在于，包括权利要求11所述的中央控制节点设备和进行网页抓取的客户端子节点设备，所述中央控制节点设备与所述客户端子节点设备通信连接。