[发明专利]时效性种子页的抓取方法及装置

权利要求书

1.一种时效性种子页的抓取方法，包括：

对于一时效性种子页，获取当前预设时间段内对所述种子页发起的每次抓取对应的频率调整因子；

确定与所述当前预设时间段存在对应关系的历史预设时间段的抓取频率；

基于所述频率调整因子计算频率调整系数；

根据所述抓取频率以及所述频率调整系数，动态调整所述当前预设时间段的抓取频率。

2.根据权利要求1所述的方法，所述获取当前预设时间段内对所述种子页发起的每次抓取对应的频率调整因子具体为：对于发起的一次抓取，根据该次抓取是否发现新链接的结果确定该次抓取对应的频率调整因子。

3.根据权利要求2所述的方法，所述对于发起的一次抓取，根据该次抓取是否发现新链接的结果确定该次抓取对应的频率调整因子具体包括：

如果该次抓取发现新链接，则确定该次抓取对应的频率调整因子为大于1的第一预定值；

如果该次抓取没有发现新链接，则确定该次抓取对应的频率调整因子为小于1的第二预定值。

4.根据权利要求1所述的方法，所述获取当前预设时间段内对所述种子页发起的每次抓取对应的频率调整因子具体为：对于发起的一次抓取，根据该次抓取之前一段预设时间内发现新链接的次数与发起抓取的次数的比率确定该次抓取对应的频率调整因子。

5.根据权利要求1-4任一项所述的方法，所述当前预设时间段内对所述种子页已经发起的抓取次数为n；

所述基于所述频率调整因子计算频率调整系数具体为：计算n次抓取对应的频率调整因子的乘积作为所述频率调整系数。

6.根据权利要求1-5任一项所述的方法，所述根据所述抓取频率以及所述频率调整系数，动态调整所述当前预设时间段的抓取频率具体为：

将所述抓取频率与所述频率调整系数的乘积作为动态调整后的所述当前预设时间段的抓取频率。

7.根据权利要求1-6任一项所述的方法，还包括：

如果所述历史预设时间段的抓取频率为无效值，则根据与所述历史预设时间段相邻的预设时间段的抓取频率和所述频率调整系数，动态调整所述当前预设时间段的抓取频率。

8.根据权利要求1-7任一项所述的方法，进一步包括基于所述动态调整后的抓取频率在所述当前预设时间段中对所述种子页进行抓取。

9.一种时效性种子页的抓取装置，包括：

获取模块，用于对于一时效性种子页，获取当前预设时间段内对所述种子页发起的每次抓取对应的频率调整因子；

抓取频率确定模块，用于确定所述当前预设时间段存在对应关系的历史预设时间段的抓取频率；

计算模块，用于基于所述频率调整因子计算频率调整系数；

调整模块，用于根据所述抓取频率以及所述频率调整系数，动态调整所述当前预设时间段的抓取频率。

10.根据权利要求9所述的装置，所述获取模块具体用于：对于发起的一次抓取，根据该次抓取是否发现新链接的结果确定该次抓取对应的频率调整因子。