[发明专利]一种基于协同训练的Web攻击检测方法

权利要求书

1.一种基于协同训练的Web攻击检测方法，其特征在于包括以下步骤：

S1处理Web日志，构建数据集；

S2利用专家知识特征和文本特征，获得两个独立的视图；

S3利用两个独立的视图进行协同训练，获得两个分类器；

S4利用Stacking方法将两个分类器集成，得到Web攻击检测模型；

S5用Web攻击检测模型对Http请求进行攻击检测；

所述步骤S1中处理构建数据集的过程包括：

S11先从Web服务器中收集Web日志，再从中提取出URL，并对其进行解码，构成集合S；

S12随机从S中抽取|L|个样本，人工对样本进行标记，标签的集合为{-1，+1}，-1代表是正常的URL，+1代表带有攻击的URL，标记样本构成集合L，未标记样本构成集合U，保证S＝L+U，|L|＜＜|U|；

所述步骤S2中获得两个独立的视图的过程包括：

S21用专家知识特征构建视图：特征空间＝{路径长度，路径深度，参数长度，参数个数，参数名最大长度，参数名平均长度，参数值最大长度，参数值平均长度，参数值中字母占有的比例，参数之中数字占有的比例，参数值中特殊字符占有的比例，攻击关键字的个数}，共计12个特征，用特征空间将URL向量化，S转化为视图X¹，最后需要对X¹进行归一化处理，公式为其中X_max、X_min分别是原始X¹的最大值和最小值；

S22用文本特征构建视图：将URL看作文本，将URL转化为特征向量，S转化为视图X²，首先利用N-gram对URL进行分词，URL的特征空间是所有字符的组合，若S中有c种不同的字符，则URL向量的维度d＝cⁿ，其中n为N-gram中N的取值，之后用TF-IDF来计算URL的特征值，对于样本x第i个的特征值x_i公式由以下的公式得出：x_i＝TF_i×IDF_i，其中n_i、n_total、n_S、分别表示第i个特征在URL中出现的数量、URL分词后的总数、S的大小、有第i个特征的URL数量。

2.根据权利要求1所述的一种基于协同训练的Web攻击检测方法，其特征在于所述步骤S3中进行协同训练获得两个分类器的内容包括：

S31有标记样本集合无标记样本集合从D_u中随机抽取s个样本构成缓冲池D_s，此时D_u＝D_u-D_s，视图1的有标记样本集合视图2的有标记样本集合

S32用有监督学习算法通过来训练分类器m₁，用有监督学习算法通过来训练分类器m₂；

S33遍历D_s，对于x∈D_s，若max m₁(x)＞θ，则将x加入其中m_i(x)表示分类器m_i对样本x是+1和-1的概率预测值，max m_i(x)表示取其中最高的概率值，θ是人工设定的阈值，高于该阈值说明x具有高置信度，其中p_i是带符号的预测概率值，作为x的伪标签，同理若max m₂(x)＞θ，则将x加入

S34用s₁表示增加的数量，用s₂表示增加的数量，保证s＞＞s₁+s₂，这是需要从D_u中随机取s₁+s₂个样本加入D_s中；

S35重复S31到S34的步骤直到或者s₁＝s₂＝0，这表明集合U全部被标记完成或者分类器不再变化；

S36得到经过协同训练的两个分类器m₁和m₂。