[发明专利]一种基于智能分析和智能限流的安全防护方法及装置

说明书

本申请提供了一种基于智能分析和智能限流的安全防护方法及装置。所述安全防护方法包括：获取信息的访问日志；根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；将所述具有爬虫风险的访问请求过滤至高仿IP地址；其中，根据大数据分析得到所述预设规则。本发明通过对日志的智能分析和智能限流，提高了网络安全防护性能。

技术领域

本发明涉及网络爬虫检测领域，具体涉及一种基于智能分析和智能限流的安全防护方法及装置。

背景技术

网络安全事关国家安全和国家发展、事关广大人民群众的切实利益，深刻影响政治、经济、文化、社会、军事等各领域安全。

随着互联网的发展，大多行业都是通过网站的形式向用户展示其主营的各项业务和数据，而网络爬虫则可以自动的获取这些数据，进而把获取到的数据转卖给需要这些数据的人进行非法获利。

目前，大多数的反爬虫手段是通过限制IP访问频率的方式对爬虫IP进行封锁，这种方式对一般爬虫来说可以起到很好的效果，但是对于一些特殊的爬虫不能进行有效的阻拦。爬虫可以通过降低访问频率、增加IP数量等方式绕过检测。如果单通过访问频率来识别则有可能会对正常用户进行误拦截。

发明内容

本发明的目的在于提供一种基于智能分析和智能限流的安全防护方法及装置，通过对访问日志的实时分析，以智能的技术甄别恶意攻击，从而建立防线，保护网站、内容信息的安全。

为此，本发明的一个目的在于提供一种基于智能分析和智能限流的安全防护方法，包括：

获取信息的访问日志；

根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；

将所述具有爬虫风险的访问请求过滤至高仿IP地址；

其中，根据大数据分析得到所述预设规则。

进一步的，所述根据预设规则对所述信息的访问日志进行分析，识别出具有爬虫风险的访问请求包括：

提取所述信息的访问日志的关键字段，包括IP地址和URL：

统计在单位时间内访问请求的IP地址数量，如果所述IP地址数量大于阈值，则该单位时间内的IP地址发出的访问请求具有爬虫风险；

检查IP地址格式规范性，如果格式不规范，则识别该IP地址发出的访问请求具有爬虫风险；

判断URL是否位于URL白名单中，如否，则识别该URL对应的访问请求具有爬虫风险；

根据服务器的承受能力设置令牌流量限制口令，如访问IP地址数量超过所述令牌流量限制口令，则识别该服务器对应的令牌流量限制口令内的访问请求具有爬虫风险。

进一步的，所述根据大数据分析得到所述预设规则包括通过以下一种或多种分析：

大数据实时智能引擎；

专家攻防经验规则；

云端海量威胁情报；

深度学习算法模型。

根据本发明的第二方面，提供了一种基于智能分析和智能限流的安全防护装置，包括：

获取模块，用于获取信息的访问日志；

分析模块，用于根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；

过滤模块，用于将所述具有爬虫风险的访问请求过滤至高仿IP地址；

其中，根据大数据分析得到所述预设规则。