[发明专利]一种基于协同训练的Web攻击检测方法

说明书

本发明提出了一种基于协同训练的Web攻击检测方法，针对大部分URL标签缺失导致训练Web攻击检测模型困难的问题，该方法可以利用部分有标记的URL和大量无标记的URL进行模型训练，首先通过专家知识特征和文本特征将样本向量化，得到两个独立的视图，再利用视图进行协同训练，得到两个攻击检测模型，最后通过集成学习将这两个模型进行结合，可用于检测Web攻击。该方法能够减少人工标记数据的工作量，可以降低检测Web攻击的成本。

技术领域

本发明涉及一种基于协同训练的Web攻击检测方法，属于Web入侵检测和网络安全技术领域。

背景技术

随着Web系统的广泛应用，针对Web系统的攻击技术层出不穷，导致Web系统遭受攻击事件越来越多。近年来数据泄露事件不断发生，据Verizon公司《2018年数据泄露调查报告》统计，2018年中90％的数泄露事件是由Web攻击导致的。由此可见Web系统的安全还得不到保障，所以研究Web攻击检测方法仍然很有必要。

Web攻击检测的方法目前主要分为基于规则的检测方法和基于机器学习的检测方法。目前市场上大多数检测Web攻击的安全产品采用是基于规则的检测方法，该方法可以检测出大部分已知的Web攻击，但当前Web攻击的种类繁多，在应对攻击变形的情况时，漏报率会随之增加。同时，由于规则数量的增加，规则库的维护难度越来越高，检测性能也受到了影响。由于基于规则的检测方法存在上述的缺点，因此基于机器学习的检测方法成为了当前的研究热点。

基于机器学习的检测方法大致体上分为有监督学习检测、无监督学习检测和半监督学习检测。有监督学习检测法需要收集大量的数据并人工做标记，再用分类算法做训练，该方法的优点在于准确率高，缺点在于需要人工对大量的数据做标记，训练成本高；无监督学习检测法是利用聚类算法对无标记的数据做训练，该方法的优点在于训练数据不需要标签，缺点准确率相比有监督学习要低，在实际检测时表现不好；半监督学习检测只需人工标记部分无标记的数据，利用有标记的数据和无标记的数据同时做训练。Ya-Lin Zhang等人发表在2017 ACM SIGSAC Conference on Computer and Communications Security上《APU Learning based System for Potential Malicious URL Detection》文章提到了利用PU-learning半监督学习来检测 Web攻击，并且最终可以达到94.2％的准确率，但是起始阶段需要大量的恶意样本，这仍然需要人工标记来获得。

因此，如何在保证较高准确率的前提下，减少人工标记数据的工作量成为了目前基于机器学习的检测方法亟待解决的问题。

发明内容

针对现有技术存在的问题，本发明的目的在于设计提供一种基于协同训练的Web攻击检测方法的技术方案，该方法能利用部分有标记样本和大量无标记样本训练Web入侵检测模型，减少人工标记数据的工作量，降低检测Web攻击的成本。

为实现上述的目的，在训练阶段，本发明首先用专家经验特征和文本特征来构建两个视图，之后每个视图基于已有标记的URL训练出一个分类器，然后让每个分类器去对未标记的 URL进行预测，挑选高置信度的URL赋予伪标记，并将伪标记URL提供给另一个模型作为新增的有标记URL用于训练更新。将这个协同学习的过程不断迭代，直到两个分类器都不再发生变化或达到了未标记的URL都被标记。最后通过利用Stacking方法将两个分类器集成，得到最终的Web入侵检测模型；在检测阶段，本发明先从Http请求中提取URL，利用专家经验特征和文本特征分别将URL向量化，然后将两个向量输入Web入侵检测模型，模型的输出若为+1表示该Http请求带是攻击，输出为-1表示该Http请求是正常请求。

本发明的方法通过以下具体步骤实现：

1处理Web日志，构建数据集

1.1从Web日志中提取URL