[发明专利]一种网页内容抓取方法和装置

权利要求书

1.一种网页内容抓取方法，其特征在于，所述方法包括：

周期性的通过第一线程从第一调度库中找出调度时间到达的网页标识，将 所述找出的网页标识从所述第一调度库移至第二调度库中，所述第一调度库用 于存储所有待抓取网页内容的网页标识；

在抓取完网页内容时，通过第二线程从所述第二调度库中选择调度优先级 别最高的预设数值个网页标识；

根据所述选择的网页标识，抓取网页内容。

2.如权利要求1所述的方法，其特征在于，所述根据所述选择的网页标识， 抓取网页内容，包括：

将所述选择的网页标识从所述第二调度库移至第三调度库中；

根据所述第三调度库中的每个网页标识，分别抓取所述第三调度库中的每 个网页标识对应的网页中的网页内容。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

当将所述选择的网页标识从所述第二调度库移至所述第三调度库时，开始 计时；

当计时的时间到达预设时长时，将在所述计时的时间内抓取到的网页内容 对应的网页标识从所述第三调度库移至所述第一调度库中；

以及将在所述计时的时间内没有抓取到的网页内容对应的网页标识从所述 第三调度库转至所述第二调度库中。

4.如权利要求3所述的方法，其特征在于，所述将在所述计时的时间内没 有抓取到的网页内容对应的网页标识从所述第三调度库转至所述第二调度库中 之后，还包括：

增加在所述计时的时间内没有抓取到网页内容对应的网页标识的调度优先 级别。

5.如权利要求3所述的方法，其特征在于，所述将在所述计时的时间内抓 取到的网页内容对应的网页标识从所述第三调度库移至所述第一调度库中之 后，还包括：

根据标识集合中包括的每个网页标识，分别获取所述每个网页标识对应的 在计时之前最近一次抓取的网页内容，所述标识集合由在所述计时的时间内抓 取到的网页内容对应的网页标识组成；

分别比较所述每个网页标识对应的在所述计时的时间内抓取到的网页内容 和在计时之前最近一次抓取的网页内容，得到相同的网页内容和不同的网页内 容；

增加所述相同的网页内容对应的网页标识的调度时间间隔，以及减小所述 不同的网页内容对应的网页标识的调度时间间隔。

6.如权利要求1所述的方法，其特征在于，所述在抓取完网页内容时，通 过第二线程从所述第二调度库中选择调度优先级别最高的预设数值个网页标识 之后，还包括：

增加所述第二调度库中除所述选择的网页标识之外的其他每个网页标识的 调度优先级别。

7.一种网页内容抓取装置，其特征在于，所述装置包括：

第一移动模块，用于周期性的通过第一线程从第一调度库中找出调度到达 的网页标识，将所述找出的网页标识从所述第一调度库移至第二调度库中，所 述第一调度库用于存储所有待抓取网页内容的网页标识；

选择模块，用于在抓取完网页内容时，通过第二线程从所述第二调度库中 选择调度优先级别最高的预设数值个网页标识；

抓取模块，用于根据所述选择的网页标识，抓取网页内容。

8.如权利要求7所述的装置，其特征在于，所述抓取模块，包括：

移动单元，用于将所述选择的网页标识从所述第二调度库移至第三调度库 中；

抓取单元，用于根据所述第三调度库中的每个网页标识，分别抓取所述第 三调度库中的每个网页标识对应的网页中的网页内容。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

计时模块，用于当将所述选择的网页标识从所述第二调度库移至所述第三 调度库时，开始计时；

第二移动模块，用于当计时的时间到达预设时长时，将在所述计时的时间 内抓取到的网页内容对应的网页标识从所述第三调度库移至所述第一调度库 中；

第三移动模块，用于将在所述计时的时间内没有抓取到的网页内容对应的 网页标识从所述第三调度库转至所述第二调度库中。