[发明专利]信息抓取方法、装置、中央控制节点设备及分布式系统

摘要

本发明实施例提供的一种信息抓取方法、装置、中央控制节点设备及分布式系统，中央控制节点设备可以获得客户端子节点设备上传的当前抓取的网页的网页标识并存储，在客户端子节点设备的工作状态为未正常抓取状态时，将当前抓取的网页的网页标识返回给客户端子节点设备，以使客户端子节点设备根据网页标识继续对当前抓取的网页进行抓取。由于爬虫所在的客户端子节点设备当前抓取的网页的网页标识被保存到了中央控制节点设备中，因此当爬虫所在的客户端子节点设备本地的爬取历史消失时，本发明仍能控制爬虫所在的客户端子节点设备继续对当前抓取的网页进行抓取。本发明不会导致网页的重复抓取，提高了爬虫的网页抓取效率，节省了大量的页面浏览量。

主权项

一种信息抓取方法，其特征在于，应用于分布式系统中的中央控制节点设备中，所述分布式系统包括所述中央控制节点设备和进行网页抓取的客户端子节点设备，所述中央控制节点设备与所述客户端子节点设备通信连接，所述方法包括：获得所述客户端子节点设备上传的当前抓取的网页的网页标识，将获得的网页标识进行存储；获得所述客户端子节点设备的工作状态；在所述工作状态为未正常抓取状态时，将所述当前抓取的网页的网页标识返回给所述客户端子节点设备，以使所述客户端子节点设备根据所述网页标识继续对所述当前抓取的网页进行抓取。