[发明专利]IP代理池的管理方法、设备和存储介质

说明书

本发明揭示了一种IP代理池的管理方法、设备和存储介质，所述方法包括：获取代理IP；使用所述代理IP访问不同类型的URL站点，并根据访问结果记录所述代理IP的用途类型；根据所述代理IP的用途类型，将所述代理IP存入对应用途类型的代理池中。与现有技术相比，本发明通过将不同用途的代理IP放入不同的代理池中，从而应用程序根据站点的访问需要到对应用途的代理池中获取代理IP，提高应用程序的执行效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种IP代理池的管理方法和系统。

背景技术

对于爬虫来说，当你的访问频率达到了目标网站的预警值时，就可能触发目标网站的反爬机制。而封禁访问者IP就是很常见的一个反爬机制。当IP被封禁后，从此IP发出的请求将不能得到正确的响应。这种时候，我们就需要代理IP。

一般我们可以通过向不同的代理商获取代理IP，然后将所有代理IP放入代理池中，在使用时调用代理池中的代理IP。

但是爬虫程序在获取这种操作方式下的代理IP时，执行效率很低。

发明内容

本发明的目的在于提供一种IP代理池的管理方法、设备和存储介质。

为实现上述发明目的之一，本发明一实施方式提供一种IP代理池的管理方法，所述方法包括：

获取代理IP；

使用所述代理IP访问不同类型的URL站点，并根据访问结果记录所述代理IP的用途类型；

根据所述代理IP的用途类型，将所述代理IP存入对应用途类型的代理池中。

作为本发明一实施方式的进一步改进，所述“根据访问结果记录所述代理IP的用途类型”具体包括：

若所述代理IP能够访问http协议类型的URL站点，记录所述代理IP的用途类型包括http代理；

若所述代理IP能够访问https协议类型的URL站点，记录所述代理IP的用途类型包括https代理；

若所述代理IP能够访问sockets协议类型的URL站点，记录所述代理IP的用途类型包括sockets代理；

若所述代理IP能够访问国外的URL站点，记录所述代理IP的用途类型包括国外代理；

若所述代理IP对于http协议类型、https协议类型、sockets协议类型和国外这四种URL站点都无法访问，所述代理IP为无效的代理IP。

作为本发明一实施方式的进一步改进，所述“根据所述代理IP的用途类型，将所述代理IP存入对应用途类型的代理池中”具体包括：

若所述代理IP的用途类型包括http代理，将所述代理IP存入http代理的代理池中；

若所述代理IP的用途类型包括https代理，将所述代理IP存入https代理的代理池中；

若所述代理IP的用途类型包括sockets代理，将所述代理IP存入sockets代理的代理池中；

若所述代理IP的用途类型包括国外代理，将所述代理IP存入国外代理的代理池中。

作为本发明一实施方式的进一步改进，所述代理IP访问的URL站点为内网模拟的URL站点。

作为本发明一实施方式的进一步改进，所述“获取代理IP”具体包括：

将代理商提供的API接口写入API数据库中；

通过调用API数据库中的API接口，获取代理IP。

作为本发明一实施方式的进一步改进，所述方法还包括：