[发明专利]一种网页内容抓取方法和装置

说明书

技术领域

本发明涉及互联网技术领域，特别涉及一种网页内容抓取方法和装置。

背景技术

目前搜索引擎得到广泛使用，人们常常通过搜索引擎搜索内容。搜索引擎 事先从互联网服务器中抓取网页内容，将抓取得到的网页内容收录起来，然后 供用户搜索。

目前搜索引擎都使用网络爬虫从互联网服务器中抓取网页内容，网络爬虫 是一种抓取网页内容的应用。然而发明人在实现本发明时发现网络爬虫抓取网 页内容的过程比较耗时，导致抓取网页内容的效率低。

发明内容

为了使解决现有技术的问题，本发明提供了一种网页内容抓取方法和装置。 技术方案如下：

一方面，本发明提供了一种网页内容抓取方法，所述方法包括：

周期性的通过第一线程从第一调度库中找出调度时间到达的网页标识，将 所述找出的网页标识从所述第一调度库移至第二调度库中，所述第一调度库用 于存储所有待抓取网页内容的网页标识；

在抓取完网页内容时，通过第二线程从所述第二调度库中选择调度优先级 别最高的预设数值个网页标识；

根据所述选择的网页标识，抓取网页内容。

另一方面，本发明提供了一种网页内容抓取装置，所述装置包括：

第一移动模块，用于周期性的通过第一线程从第一调度库中找出调度时间 到达的网页标识，将所述找出的网页标识从所述第一调度库移至第二调度库中， 所述第一调度库用于存储所有待抓取网页内容的网页标识；

选择模块，用于在抓取完网页内容时，通过第二线程从所述第二调度库中 选择调度优先级别最高的预设数值个网页标识；

抓取模块，用于根据所述选择的网页标识，抓取网页内容。

在本发明实施例中周期性的通过第一线程从第一调度库中找出调度时间为 当前时间或者在当前时间之前的网页标识，将找出的网页标识从第一调度库移 至第二调度库中，在抓取完网页内容时，通过第二线程从第二调度库中选择调 度优先级别最高的预设数值个网页标识；根据选择的网页标识，抓取网页内容。 由于第一线程和第二线程可以同时进行，并且第二调度库中存储的网页标识的 数目较少，从第二调度库中选择网页标识比较省时，从而提高了抓取网页内容 的效率。

附图说明

图1是本发明实施例1提供的一种网页内容抓取方法流程图；

图2是本发明实施例2提供的一种网页内容抓取方法流程图；

图3-1是本发明实施例3提供的一种网页内容抓取装置结构示意图；

图3-2是本发明实施例3提供的另一种网页内容抓取装置结构示意图；

图4是本发明实施例4提供的一种服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种网页内容抓取方法，参见图1，该方法包括：

步骤101：周期性的通过第一线程从第一调度库中找出调度时间到达的网页 标识，将找出的网页标识从第一调度库移至第二调度库中，第一调度库用于存 储所有待抓取网页内容的网页标识；

步骤102：在抓取完网页内容时，通过第二线程从第二调度库中选择调度优 先级别最高的预设数值个网页标识；

步骤103：根据选择的网页标识，抓取网页内容。

在本发明实施例中周期性的通过第一线程从第一调度库中找出调度时间为 当前时间或者在当前时间之前的网页标识，将找出的网页标识从第一调度库移 至第二调度库中，在抓取完网页内容时，通过第二线程从第二调度库中选择调 度优先级别最高的预设数值个网页标识；根据选择的网页标识，抓取网页内容。 由于第一线程和第二线程可以同时进行，并且第二调度库中存储的网页标识的 数目较少，从第二调度库中选择网页标识比较省时，从而提高了抓取网页内容 的效率。

实施例2