[发明专利]一种恶意网络爬虫检测方法、装置、设备及存储介质

说明书

本申请公开了一种恶意网络爬虫检测方法、装置、设备及存储介质，包括：获取数据请求发起端发送的与数据报文；对数据报文进行解析，得到反映所述数据请求发起端的服务器类型的目标信息，基于目标信息判定数据请求发起端的服务器是否为代理服务器；如果是，则获取代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，基于访问时间和相应的数据报文对代理服务器的恶意爬取数据行为进行检测。本申请通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步对其访问时间和数据报文进行检测，避免网站数据被代理IP恶意抓取，提高网络数据安全度。

技术领域

本发明涉及计算机技术领域，特别涉及一种恶意网络爬虫检测方法、装置、设备及存储介质。

背景技术

随着互联网的发展，爬虫技术也日益强大。为了防止恶意的数据抓取，网站通过很多方式来防止爬虫抓取数据。

现有技术中，互联网上的网站，大多数防止恶意爬虫的方式是记录IP的访问次数，然后根据次数添加验证码，或者通过黑白名单的方式来防止爬取。但是随着爬虫技术的发展，验证法识别已不是难事，抓取数据者往往会运用大量的代理IP来对网站发起请求。针对大量不同代理IP，网站原有的规则不能识别代理IP，没有智能分析系统，大量数据被抓取，恶意的数据抓取为网站带来数据泄露等危害。

因此，如何防止利用代理IP进行数据恶意抓取，从而保护网站数据是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种恶意网络爬虫检测方法、装置、设备及存储介质，能够避免网站数据被代理IP恶意抓取，提高网络数据安全度。其具体方案如下：

本申请的第一方面提供了一种恶意网络爬虫检测方法，包括：

获取数据请求发起端发送的与数据请求对应的数据报文；

对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；

如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。

可选的，所述对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，包括：

对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息；其中，所述目标信息为所述数据请求发起端的IP地址信息、XFF头信息、keep-alive组件配置信息。

可选的，所述基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器，包括：

通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第一预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分；其中，概率值与评分值正相关；

根据评分结果判定所述数据请求发起端的服务器是否为代理服务器。

可选的，所述通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分，包括：

将所述数据请求发起端的IP地址信息与包含代理IP地址信息的数据库进行匹配，如果匹配成功，则利用第一评分值进行评分；