[发明专利]爬虫识别方法、装置、计算机设备和存储介质

说明书

本申请涉及数据处理技术领域，揭示了一种爬虫识别方法、装置、计算机设备和存储介质，其中方法包括：当接收到终端设备发送的网络访问请求时，根据预设的JS代码模板与预设的随机字符串，生成指定JS代码；将指定JS代码发送至终端设备；判断是否接收到终端设备在接收到指定JS代码后，再次发出的第二次网络访问请求；若接收到第二次网络访问请求，则获取第二次网络访问请求中的头部信息；判断头部信息中是否包含第一token；若包含第一token，则判断第一token是否与缓存中预存储的第二token相同；若相同，则判定终端设备不具有爬取服务器端的数据的爬虫风险；若不相同，则判定终端设备具有爬取服务器端的数据的爬虫风险。本申请提高了爬虫识别的效率与准确性。

技术领域

本申请涉及数据处理技术领域，具体涉及一种爬虫识别方法、装置、计算机设备和存储介质。

背景技术

爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。随着互联网的广泛普及与web技术的快速发展，互联网上的爬虫数量日益增加。通过使用爬虫爬取目标网站内容，造成网站内容被他人以低成本方式获取并利用，威胁信息财产安全，这使得保护网站发布的内容免于被恶意爬虫爬取，显得极为重要。现有的爬虫识别方法通常采用的是简单判断方式：如某IP请求数在指定时间窗口内达到一定阈值则判断为爬虫，这种方式需要统计一段时间内IP的访问次数，会导致一定的滞后性；或者User-agent字符串包含爬虫相关信息，而大多数爬虫会通过改变User-agent进行伪装，这种方式会产生大量误判与漏判。因此，现有的爬虫识别方法存在一定的延时判断，无法及时对爬虫进行识别判断，且判断生成的爬虫识别结果的准确性也不高。

发明内容

本申请的主要目的为提供一种爬虫识别方法、装置、计算机设备和存储介质，旨在解决现有的爬虫识别方法存在一定的延时判断，无法及时对爬虫进行识别判断，且判断生成的爬虫识别结果的准确性也不高的技术问题。

本申请提出一种爬虫识别方法，应用于服务器端，所述方法包括步骤：

当接收到终端设备发送的网络访问请求时，根据预设的JS代码模板与预设的随机字符串，生成指定JS代码；

将所述指定JS代码发送至所述终端设备；

判断是否接收到所述终端设备在接收到所述指定JS代码后，再次发出的第二次网络访问请求；

若判断出接收到所述终端设备再次发出的所述第二次网络访问请求，则获取所述第二次网络访问请求中的头部信息；

判断所述头部信息中是否包含第一token；

若判断出所述头部信息中包含所述第一token，则判断所述第一token是否与缓存中预存储的第二token相同；

若判断出所述第一token与缓存中预存储的第二token相同，则判定所述终端设备不具有爬取所述服务器端的数据的爬虫风险；

若判断出所述第一token与缓存中预存储的第二token不相同，则判定所述终端设备具有爬取所述服务器端的数据的爬虫风险。

可选地，所述根据预设的JS代码模板与预设的随机字符串，生成指定JS代码的步骤，包括：

获取预设的JS代码模板；

生成一个随机字符串；

使用所述随机字符串对所述JS代码模板中的指定数据进行替换，得到替换后的JS代码模板，其中，所述指定数据为与指定符号对应的数据；

对所述替换后的JS代码模板进行混淆处理，得到所述指定JS代码，其中，所述指定JS代码存储于区块链系统的区块链上。

可选地，所述判断是否接收到所述终端设备在接收到所述指定JS代码后，再次发出的第二次网络访问请求的步骤之后，包括：