[发明专利]一种web访问异常检测方法和装置

说明书

本发明公开了一种web访问异常检测方法和装置。该方法包括：根据多个访问日志，训练异常检测模型；其中，在所述多个访问日志中包括正常访问日志和异常访问日志；接收用户设备发送的超文本传输协议http请求；通过所述异常检测模型识别所述http请求是否为异常请求；如果所述http请求为异常请求，则拦截所述http请求。本发明实施例可以应用于web安全和机器学习领域，通过对大量正常样本和异常样本进行机器学习，可以用于web安全领域的访问异常检测和拦截，可以解决传统waf防火墙对入侵访问进行拦截的方法维护成本高、灵活性差、对未知异常没有防护能力的技术问题。

技术领域

本发明涉及网络安全技术领域，特别是涉及一种web(World Wide Web，全球广域网)访问异常检测方法和装置。

背景技术

随着互联网技术的不断发展，传统的网络边界正在逐渐消失，工业界的企业，特别是大型互联网公司，平均每目的活跃用户能够达到上千万，这样每个应用系统的日志将会高达几百G字节，甚至达到T数量级。目前，以灰产和黑产为代表的恶意访问占比依然居高不下，针对大型互联网公司，特别是金融、电信等行业的恶意攻击在每天的各个时段都在发生，并且攻击手段在不断推陈出新，引发网络安全问题。

针对恶意攻击，传统的解决方案是通过waf(Web Application Firewall，web应用防护系统)防火墙进行入侵检测，基于预设的规则对http(HyperText Transfer Protocol，超文本传输协议)请求进行拦截或者放行，以便拦截入侵访问。如图1所示的waf防火墙的入侵检测工作示意图。waf防火墙收到http请求，先解析出http请求的header、body信息，然后查看用户自定义配置，根据该用户自定义配置中的规则，判定是否需求封禁该http请求，拦截需要封禁的http请求，放行不需要封禁的http请求。进一步地，用户自定义配置中的规则主要是用于匹配htpp请求中的uri、parameter、ua、cookie、referer等部分，如果匹配成功，则对该http请求进行拦截，反之放行。

但是，传统的web入侵检测技术不够灵活，并且对未知异常没有检测能力。具体的，通过waf防火墙基于预设的规则对入侵访问进行拦截，一方面，硬规则在灵活的黑客面前，很容易被绕过，并且基于以往的规则集难以应对0day攻击；另一方面，攻防对抗水涨船高，防守方规则的构造和维护门槛高、且成本大，更重要的是传统防御技术仅限于防御已知威胁，由于不知道何为未知的威胁，所以无法检测到未知威胁，也就更谈不上有效的阻断未知威胁。

发明内容

本发明要解决的技术问题是提供一种web访问异常检测方法和装置，用以解决现有web入侵检测技术不够灵活，并且对未知异常没有检测能力的问题。

为了解决上述技术问题，本发明是通过以下技术方案来解决的：

本发明提供一种全球广域网web访问异常检测方法，包括：根据多个访问日志，训练异常检测模型；其中，在所述多个访问日志中包括正常访问日志和异常访问日志；接收用户设备发送的超文本传输协议http请求；通过所述异常检测模型识别所述http请求是否为异常请求；如果所述http请求为异常请求，则拦截所述http请求。

其中，根据多个访问日志，训练异常检测模型，包括：获取多个访问日志，并对所述多个访问日志进行数据清洗处理；在数据清洗处理后，在所述多个访问日志中，提取各个统一资源定位符URL的特征数据；根据每个所述访问日志的数据清洗处理结果以及每个所述URL的特征数据，为每个所述URL对应生成数据模型对象；通过spark的决策树，对每个所述数据模型对象进行处理，并使用处理后的数据模型对象训练异常检测模型。