[发明专利]一种网络爬虫的识别方法及装置

说明书

本发明公开了一种网络爬虫的识别方法及装置，该网络爬虫的识别方法包括：生成爬虫识别指令；根据该爬虫识别指令获取预设时段内存储的用户标识集、以及该用户标识集中每一用户标识对应的访问时间集；计算该访问时间集中相邻两次访问时间相隔的时长，得到间隔时长集；根据该间隔时长集从该用户标识集中识别出网络爬虫，从而能较准确地识别出网络爬虫，降低漏报率和误报率，识别效果好。

技术领域

本发明涉及计算机技术领域，尤其涉及一种网络爬虫的识别方法及装置。

背景技术

网络爬虫是一种自动获取网页内容的程序。对于一个网站而言，恶意爬虫的大量请求会消耗服务器的性能，甚至会造成服务器死机，并且，在文学、影视、电商等行业中，恶意爬虫可被轻易用于批量拉取并复制公开或半公开的信息，严重影响网站服务器安全。

现有的网络爬虫技术根据爬取目标，反制手段和性能要求的差异性，主要可分为高频率脚本爬虫和采集器爬虫，其中：高频率脚本爬虫，目标是以最短的时间差获取到站点的更新内容和全量信息，其主要采用并行遍历网站目录结构的方式，主要特征为访问频率较高且请求量较单一。采集器爬虫，目标是模仿用户正常访问路径保证采集到的数据的准确性和丰富性，其支持多个代理网络协议配置和调用真实网页浏览器进行浏览和抓取，并支持定时循环爬取目标站点等监控特性且可设置爬取请求间隔进行行为特征隐藏。针对这些爬虫类型，现有主流的实时识别恶意爬虫的方法是通过解析网站的服务器记录日志，从日志中找出高频或大量访问该网站的网际协议(Internet Protocol，IP)地址，或统计访问指定目标网络路径占总访问量的比例超过阈值的IP地址来进行判断识别。

但是，这种基于服务器访问日志分析的高速访问频率和大量访问量的检测策略，由于对应检测指标—IP地址粒度过大，导致与正常用户行为区分度不高，比如对于公司或楼宇对外通常只有少数几个公网IP地址，多个用户通过该公网IP地址访问网页的行为容易被误判为高频率脚本的恶意爬虫，而对于一些低频率和抓取量的恶意爬虫，则很难检测出，导致产生较高的误报率和漏报率。

发明内容

本发明的目的在于提供一种网络爬虫的识别方法及装置，以解决现有爬虫识别方法局限性较大，漏报率和误报率较高的技术问题。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种网络爬虫的识别方法，包括：

生成爬虫识别指令；

根据所述爬虫识别指令获取预设时段内存储的用户标识集、以及所述用户标识集中每一用户标识对应的访问时间集；

计算所述访问时间集中相邻两次访问时间相隔的时长，得到间隔时长集；

根据所述间隔时长集从所述用户标识集中识别出网络爬虫。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种网络爬虫的识别装置，包括：

生成模块，用于生成爬虫识别指令；

获取模块，用于根据所述爬虫识别指令获取预设时段内存储的用户标识集、以及所述用户标识集中每一用户标识对应的访问时间集；

计算模块，用于计算所述访问时间集中相邻两次访问时间相隔的时长，得到间隔时长集；

识别模块，用于根据所述间隔时长集从所述用户标识集中识别出网络爬虫。

本发明所述的网络爬虫的识别方法及装置，通过生成爬虫识别指令，并根据该爬虫识别指令获取预设时段内存储的用户标识集、以及该用户标识集中每一用户标识对应的访问时间集，之后，根计算该访问时间集中相邻两次访问时间相隔的时长，得到间隔时长集，并根据该间隔时长集从该用户标识集中识别出网络爬虫，从而能较准确地识别出网络爬虫，降低漏报率和误报率，识别效果好。