[发明专利]识别网络爬虫的方法及系统

说明书

本发明公开了一种识别网络爬虫的方法及系统，其中该方法包括：接收客户端发起的页面请求；判断该页面请求是否是爬虫识别程序的请求；如果是爬虫识别程序的请求，根据爬虫识别程序的请求数据判断客户端是否为正常客户端，并修改数据库中的爬虫判断记录；如果不是爬虫识别程序的请求，在响应内容类型为HTML或JavaScript的页面添加爬虫识别程序代码，并发送给客户端。本发明将爬虫识别程序代码下发给客户端，通过判断接收的页面请求是否是爬虫识别程序的请求，然后根据请求数据和客户端的爬虫判断记录识别客户端是否有爬虫活动，能及时进行爬虫识别，提高了识别结果的准确性。

技术领域

本发明涉及网络安全技术领域，特别涉及一种识别网络爬虫的方法及系统。

背景技术

互联网的广泛普及，使得在线Web应用平台已成为互联网信息交互的中心，各种商业交易均可以在Web应用平台上完成，随之而来的是在线Web应用平台面临的越来越多的安全威胁。其中，黑客们使用各种各样扫描工具扫描Web程序，进行一些非法的网络行为，并依此来获取相关利益。不管是对Web应用平台进行漏洞扫描，还是针对商品页面进行刷单抢单等薅羊毛行为，首先进行的都是页面的爬虫活动，进而从返回的页面里提取相关信息。复杂的网络请求中，存在各式各样页面信息爬取，不正规的、恶意的程序过量爬取会造成服务器负载过大。

目前，识别网络爬虫主要有以下三种方法：(1)统计方法，通过对访问记录进行统计，根据事件类型、访问频率等进行分析；(2)用户代理(User Agent，简称为UA)分析方法，分析UA是否带有明显的爬虫程序的信息；(3)陷阱方法，通过设置一种浏览器渲染不可见的隐藏链接，等待爬虫触发。

上述方法中均存在一些不足，具体如下：

(1)统计方法跟产品自身相关性较大，需根据产品特征来定义。判断的准则具有不确定性，无法根据一个定性的条件来判断。在某些页面存在线上活动时，就会导致局部页面请求的频率出现异常，从而出现爬虫特征。而有些公司、学校统一网络出口的地址其页面访问信息的统计结果也符合爬虫特征。

(2)UA分析方法，UA信息容易被伪造，造成遗漏。UA信息是由超文本传输协议(Hyper Text Transfer Protocol，简称为HTTP)请求发起方主动携带的标记当前请求环境的一个信息字段，这个信息可由发起方进行修改。如常用的各种浏览器均会在UA带上自己浏览器信息的特殊字符，包括谷歌、百度等搜索引擎爬虫的UA均带有特殊标记的字符，而一些恶意爬虫程序利用这个特征伪造UA信息字段，使之和正规的搜索引擎爬虫的UA或者正常浏览器的UA字段信息一样，这样就导致无法对这一类恶意爬虫程序进行有效的识别。

(3)陷阱方法，对于一些指定页面爬取的爬虫请求无法识别，会存在一定的误报。

发明内容

为了解决现有技术中爬虫程序伪造信息字段造成爬虫识别结果判断不准确，以及现有爬虫识别方法存在一定的延时判断，无法及时对请求进行识别判断的问题，本发明实施例提供了一种识别网络爬虫的方法及系统。所述技术方案如下：

根据本发明实施例的一个方面，提供了一种识别网络爬虫的方法，包括：

接收客户端发起的页面请求；

判断所述页面请求是否是爬虫识别程序的请求；

如果所述页面请求是爬虫识别程序的请求，根据所述爬虫识别程序的请求数据判断所述客户端是否为正常客户端，并修改数据库中的爬虫判断记录；

如果所述页面请求不是爬虫识别程序的请求，在响应内容类型为超文本标记语言(HyperText Markup Language，简称为HTML)或JavaScript(简称为JS，是一种脚本语言)的页面添加爬虫识别程序代码，并发送给所述客户端。

进一步的，根据所述爬虫识别程序的请求数据判断所述客户端是否为正常客户端，并修改数据库中的爬虫判断记录，包括：