[发明专利]一种防WEB爬虫的方法和装置

说明书

本发明提供了一种防WEB爬虫的方法和装置，涉及网络安全的技术领域，包括：取目标网页的第一目标数据和第一目标数据对应的HTTP响应数据；对第一目标数据的原始DOM树形结构中的目标锚标签的原始href属性值进行改写，得到包含目标URL的目标DOM树形结构；基于目标DOM树形结构，构造第一目标数据的目标HTML代码，并将目标HTML代码发送给客户端；获取客户端基于目标HTML代码发送的访问请求；若访问请求为对目标URL的访问请求，则确定客户端为爬虫，并对访问请求执行阻断操作，解决了现有的防爬虫方法无法对爬虫访问进行实时识别和防御技术问题。

技术领域

本发明涉及网络安全技术领域，尤其是涉及一种防WEB爬虫的方法和装置。

背景技术

当下，随着大数据的广泛应用，有部分公司或企业为了获取大量数据常常在讯息类网站如新闻网站、订票网站、视频网站等中使用爬虫非法抓取网站中内容，导致网站资源被非法爬取，网站遭受严重损失。

同时，由于爬虫在抓取网站资源时常常会占用大量的网站服务器的带宽，导致网站的正常工作收到影响，严重时甚至会导致网站瘫痪。

而现有的防爬虫方法通常采用访问行为和频率统计分析法，构造无效链接法和cookie跳转法等方法，但是，这些方法在对爬虫的访问请求进行识别时需要进行分析和学习，导致无法对爬虫进行实时识别和防御。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种防WEB爬虫的方法，以缓解现有的防爬虫方法无法对爬虫访问进行实时识别和防御的技术问题。

第一方面，本发明实施例提供了一种防WEB爬虫的方法，该方法包括:获取目标网页的第一目标数据和所述第一目标数据对应的HTTP响应数据，其中，所述第一目标数据包括以下至少一种：HTML数据，XML数据，文本数据，图片数据，音频数据；对所述第一目标数据的原始DOM树形结构中的目标锚标签的原始href属性值进行改写，得到包含目标URL的目标DOM树形结构，其中，所述目标锚标签为原始href属性值中不包括关键字http://，且所述href属性值的开头为非井字形关键字的锚标签；基于所述目标DOM树形结构，构造所述第一目标数据的目标HTML代码，并将所述目标HTML代码发送给客户端；获取所述客户端基于所述目标HTML代码发送的访问请求；若所述访问请求为对所述目标URL的第一访问请求，则确定所述客户端为爬虫，并对所述第一访问请求执行阻断操作。

进一步地，在获取到目标网页的第一目标数据和所述第一目标数据对应的HTTP响应数据之后，所述方法还包括：若HTTP响应数据的响应头部Content-Type字段值为text/html，且若所述HTTP响应数据的响应体内容包括目标关键字，则基于所述第一目标数据的HTML代码构建所述原始DOM树形结构，其中，所述目标关键字包括：html，head，body。

进一步地，对所述第一目标数据的原始DOM树形结构中的目标锚标签的原始href属性值进行改写，得到目标DOM树形结构包括：遍历所述原始DOM树形结构中的各个锚标签的href属性值，根据遍历结果从所述各个锚标签中确定所述目标锚标签；按照预设算法对所述目标锚标签的原始href属性值进行改写，得到所述目标DOM树形结构。

进一步地，所述方法还包括：若所述访问请求为对原始URL的第二访问请求，则确定所述客户端为浏览器，并获取所述浏览器的运行环境噪声值；若所述运行环境噪声值大于或等于预设值，则执行所述第二访问请求，以使所述浏览器访问所述原始URL获取第二目标数据，其中，所述第一目标数据与所述第二目标数据的数据类型和/或内容相同；若所述运行环境噪声值小于所述预设值，则阻断所述访问请求。