[发明专利]识别网络爬虫的方法及装置

说明书

技术领域

本公开涉及计算机技术领域，特别是涉及一种识别网络爬虫的方法及装置。

背景技术

网络爬虫(Webcrawler)，是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以便做下一步的处理。

一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少；但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发上百个请求循环重复抓取，相当多的爬虫会对网站造成非常高的负载，造成网站访问压力非常大，导致网站访问速度缓慢甚至无法访问。因此，反爬虫(即，拒绝不合理的网络爬虫)成为网站安全的一项重要任务。

相关技术中，网站服务器的日志会记录全部访问该网站的IP，即记录真实用户的IP和爬虫的IP，因此，通过分析统计服务器的记录和网站服务器的日志，就能找到爬虫。例如，如果网站服务器的日志中记录了某个IP发起了大量的访问请求，但是，在统计服务器中根本找不到该IP，或者即使能找到该IP，但该IP的访问量却寥寥无几，此时，可以确定该IP是网络爬虫。

发明内容

为克服相关技术中存在的问题，本公开提供一种识别网络爬虫的方法及装置。

为了解决上述技术问题，本公开实施例公开了如下技术方案：

根据本公开实施例的第一方面，提供一种识别网络爬虫的方法，应用于网站服务器中，所述方法包括：

接收IP地址发送的访问请求；

根据所述访问请求实时统计所述IP地址对应的网站访问量；

根据所述网站访问量获取所述IP地址对应的访问频率；

当所述IP地址对应的访问频率大于预设阈值时，确定所述IP地址对应的用户是网络爬虫。

在第一方面第一种可能的实现方式中，不需要分析网站服务器的日志，而是在接收到IP地址发送的访问请求时实时统计IP地址的网站访问量，从而实现快速实时地获取某个IP地址的访问频率。即实现了在网络爬虫爬取的过程中快速识别出网络爬虫，提高识别网络爬虫的实时性，进而能够快速屏蔽掉恶意的网络爬虫。

结合第一方面，在第一方面的第一种可能的实现方式中，所述访问请求仅包括网站访问请求；

所述根据所述访问请求实时统计所述IP地址对应的网站访问量，包括：

每当接收到IP地址发送的一个网站访问请求时，将所述IP地址对应的网站访问计数值增加预设值，得到所述IP地址对应的网站访问量。

结合第一方面，在第一方面的第二种可能的实现方式中，所述访问请求包括网站访问请求和流量统计系统访问请求，其中，所述流量统计系统访问请求用于使流量统计系统统计IP地址通过浏览器发送网站访问请求的数量；

所述根据所述访问请求实时统计所述IP地址对应的网站访问量，包括：

每当接收到所述IP地址发送的一个网站访问请求时，将所述IP地址对应的网站访问计数值增加预设值；

每当接收到所述IP地址发送的一个流量统计系统访问请求时，查询所述IP地址对应的当前网站访问计数值，将所述当前网站访问计数值减少所述预设值，得到所述IP地址对应的网站访问量。

在第一方面的第二种可能的实现方式中，真实用户总是先发送网站访问请求，然后发送流量统计系统访问请求，因此，真实用户对应的网站访问计数值不会很高。这样，能够大大降低判断网络爬虫的预设阈值，从而在网络爬虫爬取过程中快速识别出网络爬虫，即提高了识别网络爬虫的实时性，进而能够快速屏蔽掉恶意的网络爬虫。

结合第一方面、第一方面的第一种可能的实现方式和第一方面的第二种可能的实现方式中的至少一种，在第一方面的第三种可能的实现方式中，所述当所述IP地址对应的访问频率大于预设阈值时，确定所述IP地址对应的用户是网络爬虫，包括：

在确定出所述IP地址对应的访问频率大于所述预设阈值后的第一预设时间段内，如果接收到所述IP地址发送的网站访问请求，则向所述IP地址对应的客户端发送验证码页面；

如果在发送验证码页面后的第二预设时间段内未检测到所述IP地址发送的验证码，则确定所述IP地址对应的用户是网络爬虫，并将所述IP地址添加到黑名单中。

在第一方面的第三种可能的实现方式中，在确定IP地址对应的访问频率大于预设阈值后，认为该IP地址很可能是网络爬虫，在第一预设时间段内如果接收到该IP地址发送的网站访问请求，则向该IP地址对应的客户端返回验证码页面，网络爬虫不会填写验证码，因此，通过该方法能够提高识别网络爬虫的准确率。