[发明专利]一种服务于互联网数据采集的代理IP请求频率自动调整方法及系统

摘要

本发明涉及一种服务于互联网数据采集的代理IP请求频率自动调整方法，包括如下步骤：根据代理IP属性，通过监控代理IP当前的下载时间来实时调整其间隔时间T，从而控制不同优劣程度的代理IP的请求访问频率；所述间隔时间T是代理从上次使用完毕到下次使用开始的中间时间。本发明的技术方案可以控制不同优劣程度的代理IP的请求访问频率；将好用的的代理的访问频率加大，将不好用的代理的访问频率减小或不使用；从宏观上减少垃圾代理的使用时间，从而增加单位时间内代理的任务下载量，提高爬虫的效率。