[发明专利]识别网络爬虫的方法及装置

权利要求书

1.一种识别网络爬虫的方法，应用于网站服务器中，其特征在于，所述方法包括：

接收IP地址发送的访问请求；

根据所述访问请求实时统计所述IP地址对应的网站访问量；

根据所述网站访问量获取所述IP地址对应的访问频率；

当所述IP地址对应的访问频率大于预设阈值时，确定所述IP地址对应的用户是网络爬虫。

2.根据权利要求1所述的方法，其特征在于，所述访问请求仅包括网站访问请求；

所述根据所述访问请求实时统计所述IP地址对应的网站访问量，包括：

每当接收到IP地址发送的一个网站访问请求时，将所述IP地址对应的网站访问计数值增加预设值，得到所述IP地址对应的网站访问量。

3.根据权利要求1所述的方法，其特征在于，所述访问请求包括网站访问请求和流量统计系统访问请求，其中，所述流量统计系统访问请求用于使流量统计系统统计IP地址通过浏览器发送网站访问请求的数量；

所述根据所述访问请求实时统计所述IP地址对应的网站访问量，包括：

每当接收到所述IP地址发送的一个网站访问请求时，将所述IP地址对应的网站访问计数值增加预设值；

每当接收到所述IP地址发送的一个流量统计系统访问请求时，查询所述IP地址对应的当前网站访问计数值，将所述当前网站访问计数值减少所述预设值，得到所述IP地址对应的网站访问量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述当所述IP地址对应的访问频率大于预设阈值时，确定所述IP地址对应的用户是网络爬虫，包括：

在确定出所述IP地址对应的访问频率大于所述预设阈值后的第一预设时间段内，如果接收到所述IP地址发送的网站访问请求，则向所述IP地址对应的客户端发送验证码页面；

如果在发送验证码页面后的第二预设时间段内未检测到所述IP地址发送的验证码，则确定所述IP地址对应的用户是网络爬虫，并将所述IP地址添加到黑名单中。

5.根据权利要求4所述的方法，其特征在于，所述当所述IP地址对应的访问频率大于预设阈值时，确定所述IP地址对应的用户是网络爬虫，还包括：

在确定出所述IP地址的访问频率大于所述预设阈值的第一预设时间段之后，如果再次检测到所述IP地址的访问频率大于所述预设阈值，则确定所述IP地址对应的用户是网络爬虫，并将所述IP地址添加到黑名单中。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

在统计所述IP地址对应的网站访问量之后，查找缓存区中是否存在与所述IP地址发送的网站访问请求相匹配的页面；

当查找到缓存区中存在与所述网站访问请求相匹配的页面时，从所述缓存区中提取与所述网站访问请求相匹配的页面并返回给发送所述IP地址对应的客户端。

7.一种识别网络爬虫的装置，应用于网站服务器中，其特征在于，包括：

接收模块，用于接收IP地址发送的访问请求；

统计模块，用于根据所述接收模块接收的访问请求实时统计所述IP地址对应的网站访问量；

获取模块，用于根据所述统计模块获得的网站访问量获取所述IP地址对应的访问频率；

检测模块，用于检测所述获取模块获得的所述IP地址对应的访问频率是否大于预设阈值；

确定模块，用于当所述检测模块确定所述IP地址对应的访问频率大于预设阈值时，确定所述IP地址对应的用户是网络爬虫。

8.根据权利要求7所述的装置，其特征在于，所述访问请求仅包括网站访问请求；

所述统计模块用于：每当所述接收模块接收到IP地址发送的一个网站访问请求时，将所述IP地址对应的网站访问计数值增加预设值，得到所述IP地址对应的网站访问量。