[发明专利]一种获取IP的方法及装置

说明书

本发明公开了一种获取IP的方法，可以根据IP请求信息确定出第一预设规则，如果不满足第一预设规则，则会重新的获取IP信息，因此用户在设定好请求信息后就不需要再管理获取到IP是否可用，而不符合要求时，会重新获取IP地址。整个过程不需要人为判断再进行处理，因此操作灵活方便，不需要人为的添加算法，使用简单高效。本发明实施例还提供一种获取IP的装置，同样可以实现上述技术效果。

技术领域

本发明涉及代理IP技术领域，更具体地说，涉及一种获取IP的方法及装置。

背景技术

随着互联网技术的飞速发展，大数据时代已经到来，数据采集成为至关重要的环节。在获取大量数据过程中，会使用网络爬虫技术抓取网站信息。通常，网站的反爬虫机制都是依据IP来标识爬虫的，在网络爬虫抓取信息的过程中，如果一个IP抓取频率高过了网站的设置阀值，将会被禁止访问。通过代理IP访问网站进行数据采集，可以有效的应对反爬虫机制。

目前市面上的IP代理服务十分单一，没有精细化的控制，只是简单的提供ADSL拨号获取IP，当获取到的IP不符合需求时只能人为的重新获取，因此目前的代理服务不够灵活。

因此，如何简单、灵活的得到合适的代理IP，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种获取IP地址的方法和装置，以简单、灵活的得到合适的代理IP。

为实现上述目的，本发明实施例提供了如下技术方案：

一种获取IP的方法，包括：

S101，利用IP请求信息获取代理IP地址；

S102，判断代理IP地址是否符合利用所述IP请求信息确定的第一预设规则；若是，则执行S103，若否，则执行S104；

S103，判断代理IP地址是否已失效；

若是，则在可用代理IP池中删除失效的代理IP地址，将失效的代理IP

地址作为失败代理IP地址存入失败代理IP池中；

若否，则返回代理IP地址；

S104，重新获取代理IP地址，返回S102；

其中，还包括：间隔第一预设时间对所述失败代理IP池中的失败代理IP地址进行重拨；具体地，针对每一数据源，循环取出对应每一数据源的失败代理IP地址，将失败代理IP地址对应的账号信息存入内存，遍历内存中的账号信息，取出每个账号信息对应的IP地址，将与失败代理IP地址匹配的IP地址对应的账号进行拨号并删除失败代理IP地址。

其中，包括：

利用所述IP请求信息判断是否向缓存中请求获取代理IP地址；

若是，则在所述IP请求信息中获取序列号，利用所述序列号在所述缓存中获取代理IP地址，并判断代理IP地址是否为空，为空则利用第二预设规则从可用代理IP池中获取代理IP地址；

若否，则利用第二预设规则从所述可用代理IP池中获取代理IP地址。

其中，所述利用第二预设规则从所述可用代理IP池中获取代理IP地址，包括：

根据所述IP请求信息确定数据源和所述数据源的最少可用IP地址数；

判断所述可用代理IP池中所述数据源的代理IP地址数是否大于所述最少可用IP地址数；

若是，则利用第二预设规则从所述可用代理IP池中获取所述数据源的代理IP地址；

若否，则利用代理IP地址数与所述最少可用IP地址数的差值确定需借IP地址数；