[发明专利]网络爬虫识别方法、装置、计算机设备和存储介质

说明书

本申请涉及一种网络爬虫识别方法、系统、计算机设备和存储介质。方法包括：接收多个资源访问请求，每个资源访问请求中包含请求端标识和资源标识；提取相同请求端标识所对应的资源标识，形成每个请求端的资源标识集合；将资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与资源标识相匹配的资源节点作为访问节点；当存在孤立的访问节点时，判定资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端；其中，孤立的访问节点所对应的子节点的父节点不是访问节点。采用本方法能够提高网络爬虫识别的准确性，从而提高了网络爬虫的识别效率。

技术领域

本申请涉及互联网技术领域，特别是涉及一种网络爬虫识别方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，出现了网络爬虫技术。网络爬虫又被称为网页蜘蛛或网络机器人等，是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。网络爬虫会造成过大的服务器压力，还可能造成大量数据泄露。因此许多网站通过反爬虫来阻止网络爬虫的访问。

然而，传统的反爬虫方式，通常是通过监控对请求端IP地址和相应的请求频繁度，来判断请求端是爬虫还是正常终端。当检测到同一IP地址的在一定时长内的请求频繁度高于预设的次数，则可判断该IP地址对应的请求端是爬虫。而针对这种传统的反爬虫方式，只要建立了代理IP池，爬虫就能够在访问目标网址时通过轮换代理IP地址实现访问，从而避免被识别出来。因此，传统反爬虫方式识别网络爬虫的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高网络爬虫识别效率的网络爬虫识别方法、装置、计算机设备和存储介质。

一种网络爬虫识别方法，所述方法包括：接收多个资源访问请求，每个资源访问请求中包含请求端标识和资源标识；提取相同请求端标识所对应的资源标识，形成每个请求端的资源标识集合；将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点；当存在孤立的访问节点时，判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端；其中，孤立的访问节点所对应的子节点的父节点不是访问节点。

在其中一个实施例中，在所述将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点之后，还包括：当不存在孤立的访问节点时，统计每个访问节点与资源标识集合中的资源标识匹配的匹配次数；获取每个访问节点的节点权重；根据每个访问节点的匹配次数和相应的节点权重进行计算，得到与所述资源标识集合对应的综合权重；当所述综合权重小于预设权重时，则判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端。

在其中一个实施例中，所述获取每个访问节点的节点权重，包括：计算访问节点所对应的子页面资源与所述访问节点的父节点所对应的父页面资源的页面相似度；统计所述子页面资源中包含的无关资源的第一数量，和所述子页面资源中包含的更新资源的第二数量，所述更新资源为父页面资源中不包含的无关资源；根据所述页面相似度、第一数量和第二数量进行计算，得到每个访问节点的节点权重。

在其中一个实施例中，所述无关资源包括图片资源、JS脚本资源及广告资源中的至少一种。

在其中一个实施例中，在所述将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点之后，还包括：当不存在孤立的访问节点时，统计每个访问节点与资源标识集合中的资源标识匹配的匹配次数；当存在所述匹配次数大于预设次数的访问节点时，则判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端。

在其中一个实施例中，在所述判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端之后，还包括：发送身份验证页面至所述网络爬虫所对应的请求端进行身份验证。