[发明专利]一种恶意网络爬虫检测方法、装置、设备及存储介质

权利要求书

1.一种恶意网络爬虫检测方法，其特征在于，包括：

获取数据请求发起端发送的与数据请求对应的数据报文；

对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；

如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。

2.根据权利要求1所述的恶意网络爬虫检测方法，其特征在于，所述对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，包括：

对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息；其中，所述目标信息为所述数据请求发起端的IP地址信息、XFF头信息、keep-alive组件配置信息。

3.根据权利要求2所述的恶意网络爬虫检测方法，其特征在于，所述基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器，包括：

通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第一预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分；其中，概率值与评分值正相关；

根据评分结果判定所述数据请求发起端的服务器是否为代理服务器。

4.根据权利要求3所述的恶意网络爬虫检测方法，其特征在于，所述通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分，包括：

将所述数据请求发起端的IP地址信息与包含代理IP地址信息的数据库进行匹配，如果匹配成功，则利用第一评分值进行评分；

利用端口扫描技术判断与所述通过判断所述数据请求发起端的IP地址信息对应的IP开放端口是否有大于10000的端口，如果是，则利用第二评分值进行评分；

判断所述XFF头信息是否为空值，如果否，则利用第三评分值进行评分；

判断所述keep-alive组件配置信息中是否含有Proxy-Connection配置，如果有，则利用第四评分值进行评分；

利用所述通过判断所述数据请求发起端的IP地址信息模仿代理访问网站，根据访问结果利用第五评分值进行评分；

相应的，所述根据评分结果判定所述数据请求发起端的服务器是否为代理服务器，包括：

根据第一评分值、第二评分值、第三评分值、第四评分值及第五评分值得到总评分值，如果所述总评分值大于预设值，则判定所述数据请求发起端的服务器为代理服务器。

5.根据权利要求4所述的恶意网络爬虫检测方法，其特征在于，所述判定所述数据请求发起端的服务器为代理服务器之后，还包括：

利用表征所述数据请求发起端的服务器为代理服务器的标签对所述数据请求发起端的服务器进行标记。

6.根据权利要求1至5任一项所述的恶意网络爬虫检测方法，其特征在于，所述基于访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测，包括：

根据所述访问时间得到访问频次，如果所述访问频次满足第二预设条件且相邻所述访问时间的数据报文对应的统一资源定位符均不相同，则将所述代理服务器引流至验证界面或返回无效信息。

7.根据权利要求4或5所述的恶意网络爬虫检测方法，其特征在于，所述基于访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测之后，还包括：

将检测到的具有恶意爬取数据行为的所述代理服务器在所述数据库的黑名单中进行更新，以得到包含所述代理服务器的黑名单。