[发明专利]Web页面爬虫识别方法和装置

说明书

本发明实施例公开了一种Web页面爬虫识别方法和装置，涉及计算机技术领域。其中，该方法包括：在接收到网页访问请求时，将浏览器可执行脚本插入对应所述网页访问请求的返回页面；在所述浏览器可执行脚本被执行时，生成脚本执行记录；根据预设时间段内的网页访问记录和脚本执行记录进行爬虫识别。通过以上方法，能够有效识别爬虫，尤其是恶意爬虫，进而达到对Web服务进行保护的作用。

技术领域

本发明涉及计算机技术领域，尤其涉及一种Web页面爬虫识别方法和装置。

背景技术

目前，除了正规搜索引擎研发的爬虫软件以外，还有更多不为人知的小公司或技术团队开发的恶意爬虫软件。正规搜索引擎的主旨在于方便用户检索有用信息。他们研发的爬虫软件在爬取网页信息的时候会进行频次和流量的控制，因而不会给网站造成太大的影响。然而，现在有很多恶意爬虫软件通过把自己伪装成正常用户，盗取网页信息或者进行恶意攻击，进而给网站造成很大影响。

现有技术中，一般是通过记录、分析服务器访问日志，并通过统计访问频次识别恶意爬虫或者恶意流量。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：通过访问频次识别恶意爬虫或者恶意流量的方法有很大的误判可能性。比如：如果甄别的访问频次阈值设置的比较严格，那么流量大的用户就容易被误判成恶意爬虫；如果甄别的访问频次阈值设置的比较宽泛，那么爬取速度比较慢的恶意爬虫就难以发现。

发明内容

有鉴于此，本发明实施例提供一种Web页面爬虫识别方法和装置，以能够有效识别爬虫，尤其是恶意爬虫，进而达到对Web服务进行保护的作用。

为实现上述目的，根据本发明实施例的一个方面，提供了一种Web页面爬虫识别方法。

本发明实施例的Web页面爬虫识别方法包括：在接收到网页访问请求时，将浏览器可执行脚本插入对应所述网页访问请求的返回页面；在所述浏览器可执行脚本被执行时，生成脚本执行记录；根据预设时间段内的网页访问记录和脚本执行记录对待识别的请求来源IP进行爬虫识别。

可选地，根据预设时间段内的网页访问记录和脚本执行记录对待识别的请求来源IP进行爬虫识别，包括：统计预设时间段内每个待识别的请求来源IP对应的网页访问记录条数N₁、脚本执行记录条数N₂；在所述待识别的请求来源IP满足：且或者满足：且N₂＝0的情况下，将所述待识别的请求来源IP识别为爬虫的IP；其中，n为待识别的请求来源IP的个数，N₁(i)为第i个待识别的请求来源IP对应的网页访问记录条数，C为大于1的预设常数。

可选地，所述网页访问记录包括：请求来源IP、接收网页访问请求的时间、用户代理信息；所述脚本执行记录包括：请求来源IP、接收指定请求的时间；所述根据预设时间段内的网页访问记录和脚本执行记录对待识别的请求来源IP进行爬虫识别，还包括：根据用户代理信息排除正规搜索引擎的请求来源IP，构建待识别的请求来源IP的集合。

可选地，所述浏览器可执行脚本包括：指定请求的地址、接收到网页访问请求的时间、请求校验值。

可选地，所述指定请求为：接口请求或图片请求。

可选地，所述方法还包括：在所述浏览器可执行脚本被执行的步骤之后，对所述请求校验值进行合法性检查、并计算接收到所述指定请求的时间与接收到网页访问请求的时间的差值；在所述请求校验值检查合法、且所述差值小于预设阈值的情况下，生成脚本执行记录。

可选地，所述方法还包括：定时对所述浏览器可执行脚本进行更新。

可选地，所述方法还包括：在将浏览器可执行脚本插入对应所述网页访问请求的返回页面的步骤之前，先随机生成浏览器可执行脚本。

为实现上述目的，根据本发明实施例的另一方面，提供了一种Web页面爬虫识别装置。