[发明专利]一种基于k-means的大规模并行化网络入侵检测方法

权利要求书

1.一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，包括以下步骤：

步骤1、将读取的流量特征进行预处理；

步骤2、采用Isolation Forest算法进行样本异常度系数计算；

步骤3、通过设定的异常度系数阈值进行样本过滤，样本过滤过程包括以下步骤：

选取所需的类簇数k和离群值过滤比例r；

异常度系数阈值t＝S_max-(S_max-S_min)×r，对异常度系数S大于t的数据加以过滤；其中S_max、S_min分别是异常度系数S中的最大值和最小值；

步骤4、将步骤3处理后的数据进行分片，分片过程利用哈希函数实现；

步骤5、利用中间值插值法生成对应维度上的初始聚类中心，具体过程包括以下步骤：

将初值均匀选取在数据集合内部；对于取值范围为[i,j]的属性T，根据所需类簇数k，针对每一分片内的数据，生成k-means算法在对应维度上的初始聚类中心：

i和j是每一片内两端的值，T_i、T_j分别为i、j对应的属性T；

步骤6、利用spark-k-means进行局部聚类分析：

步骤7、将各聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。

2.根据权利要求1所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤1所述将读取的流量特征进行预处理的过程包括以下步骤：

首先，对于离散型的流量特征，进行数值化处理；

其次，对于缺失的流量特征要进行补充，连续型的流量特征缺失值用均值补充，离散型的流量特征缺失值用众数进行补充；

最后，对于连续型的流量特征进行标准化和归一化处理。

3.根据权利要求2所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤2所述采用Isolation Forest算法进行样本异常度系数计算，包括以下步骤：

首先是构建过程：将预处理后的流量特征作为样本数据集合D，构建多棵二叉树并组合成森林；

其次是计算过程：综合每个二叉树结果，计算集合中每个数据点x的异常度系数：

其中，S(x,n)是记录x在由n个样本的训练数据构成树的异常度系数；E(h(x))表示x在每棵树中的平均路径长度，C(n)是修正值。

4.根据权利要求3所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，构建多棵二叉树并组合成森林的过程如下：

(1)：检测树高是否大于限定高度，样本数据集合D中是否只包含一条数据或者全部数据相同；若是则输出节点数，否则随机选取包含于样本集合D的数据属性；随机在该属性最大值和最小值之间选取一个参数值，将样本中小于该值的数据划分到左分支，将样本中大于该值的数据划分到右分支；

(2)：重复步骤(1)，直到满足步骤(1)条件为止，结束，返回二叉树。

5.根据权利要求3所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，所述C(n)＝2H(n-1)-(2(n-1)/n)，H(m)＝lnm+δ，m为H(·)中的自变量，δ＝0.5772156649。

6.根据权利要求5所述的一种基于k-means的大规模并行化网络入侵检测方法，其特征在于，步骤6所述利用spark-k-means进行局部聚类分析的过程包括以下步骤：

在步骤4中已经将完整数据进行分片处理，在每一台机器上将被分配到对应的片数据，直接将该分片策略应用到Spark中，经过步骤5生成的每一片数据的初始聚类中心，然后利用spark在每一台机器上进行局部聚类。