[发明专利]一种定向信息抓取场景中大规模IP地址资源使用方法

权利要求书

1.一种定向信息抓取场景中大规模IP地址资源使用方法，包括以下步骤：

针对设置了访问频率限制的网络资源，根据一IP地址集合中每个IP地址下次可访问该网络资源的时刻建立包含集合中全部IP地址的优先队列；

在向某个网络信息采集任务分配可用IP地址时，取出优先队列中优先级最高的IP地址，并更新该IP地址的下次可访问该网络资源的时刻，重新将其放入优先队列；若当前时刻大于或等于其下次可访问该网络资源的时刻，则当前任务可立即使用该IP地址，否则当前任务阻塞直至当前时刻大于或等于其下次可访问该网络资源的时刻，方可使用该IP地址；

针对每个IP地址维护该IP地址的使用次数和访问失败次数，当从优先队列中取出的优先级最高的IP地址时，以1-访问失败次数/该IP地址的使用次数的概率选用，访问失败次数/该IP地址的使用次数的概率放弃；若该优先级最高的IP地址被放弃，则继续根据优先级从优先队列中取出IP地址，直到有一个IP地址被选用。

2.如权利要求1所述的定向信息抓取场景中大规模IP地址资源使用方法，其特征在于，所述优先队列中，IP地址下次访问该网络资源的时刻越小则其优先级越高。

3.如权利要求1所述的定向信息抓取场景中大规模IP地址资源使用方法，其特征在于，根据目标网络资源的访问频率限制值来更新该IP地址下次可访问该网络资源的时刻。

4.如权利要求1所述的定向信息抓取场景中大规模IP地址资源使用方法，其特征在于，所述根据一IP地址集合L中每个IP地址下次可访问该网络资源的时刻建立包含L中全部IP地址的优先队列包括：

1)建立原始类型为(IP，ts)的优先队列Q，其中ts表示该IP地址最早的下次可访问该网络资源的时刻，在优先队列Q中，ts的值越小，元素的优先级越高；

2)对L中的每个IP地址，构造元素(IP，当前时刻)并放入优先队列Q中，最终使Q中的元素数量等于L中的元素数量。

5.如权利要求1所述的定向信息抓取场景中大规模IP地址资源使用方法，其特征在于，所述针对每个IP地址维护该IP地址的使用次数和访问失败次数包括：

建立key为IP地址，value为(fn，un)的字典S，对L中的每个IP地址，构造key为该IP地址，value为(0,0)的元素并放入S中；最终S中的元素数量等于L中的元素数量；其中，fn为该IP地址的使用次数，un为访问失败次数。

6.如权利要求5所述的定向信息抓取场景中大规模IP地址资源使用方法，其特征在于，所述当从优先队列中取出的优先级最高的IP地址时，以1-访问失败次数/该IP地址的使用次数的概率选用，访问失败次数/该IP地址的使用次数的概率放弃；若该优先级最高的IP地址被放弃，则继续根据优先级从优先队列中取出IP地址，直到有一个IP地址被选用，包括：

1)维护一个计数器，表示下述步骤2)执行的次数c,并初始化c＝0；

2)从优先队列Q中取出优先级最高的元素(IP，ts)，之后向Q中放入元素(IP，max(当前时刻，ts)+T)，并令c＝c+1；若c大于等于预设的一固定值，直接转至步骤5)；

3)根据IP从字典S中获得对应的(fn，un)；若un小于等于某个固定值，转至步骤5)；

4)生成一个位于区间[0,1)之间的浮点类型的随机数r，若r小于1-fn/un，则转至步骤5)，否则转至步骤2)；

5)对于步骤2)中选出的元素(IP，ts)，若当前时刻t大于或等于ts，则返回IP；否则，睡眠ts-t的时间之后返回IP。