[发明专利]一种基于k-means的大规模并行化网络入侵检测方法

说明书

一种基于k‑means的大规模并行化网络入侵检测方法，属于网络安全入侵检测技术领域。本发明是为了解决现有的入侵检测方法受孤立点、噪声点以及初始聚类中心影响较大的问题以及速度有待于提高的问题。本发明首先读取网络请求数据的流量特征进行预处理，采用Isolation Forest算法进行样本异常度系数计算，通过设定的异常度系数阈值进行样本过滤；然后将处理后的数据进行分片，利用中间值插值法生成对应维度上的初始聚类中心，之后利用spark‑k‑means进行局部聚类分析，将各聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。主要用于网络入侵检测。

技术领域

本发明涉及一种网络入侵检测方法。属于网络安全入侵检测技术领域。

背景技术

随着互联网的普及特别是伴随着5G通信技术逐步进入商用阶段，万物互联的时代即将到来，给人们的生活带来了极大的便利。然而，在海量数据交互的背后存在着种种潜在的威胁，近年来，网络安全和信息安全成为人们日益关注的话题，由网络入侵导致的网络安全和数据泄露事件频频发生，如何通过有效的技术手段进行网络安全入侵检测成为网络安全领域研究者的研究热点。

传统的网络安全监测方法，大都采用基于规则匹配的方式进行网络安全入侵的判定，这类方案需要大量的先验知识作为基础建立相关的匹配规则或者知识库，每次有网络请求，判定程序就将网络请求相关的数据作为输入，利用建立好的规则或者知识库判定是否为威胁请求，所以，此类方案不具有逻辑推理能力，对于新的、规则没有覆盖到的异常信息，将不能被检测为异常请求，这对于网络安全领域是致命的缺陷，因为每时每刻网络不法分子都在生成各种新的病毒或者其他攻击手段，不具有学习和推理能力的监测方法将难以保证数据的安全性。随着数据挖掘技术的不断发展，日常生活产生的海量数据中隐含的信息及价值越来越多地被挖掘与展现出来，一些专家和学者开始利用数据挖掘相关的技术进行网络安全入侵检测，数据挖掘技术解决了传统方法对于先验知识过于依赖的问题，基于此方法方法的网络安全入侵检测技术具有较强的推理和学习能力，因此，能够在一定程度上基于先前的历史信息推理和预测出新的安全威胁请求，从而具备防范未知安全威胁的能力。其中，K-means聚类算法是其中最为典型的代表，很多专家利用k-means算法在入侵检测方面取得了很好的效果，但其仍然存在一些缺陷，比如受孤立点、噪声点以及初始聚类中心影响较大等。因此，如何对k-means算法进行优化，使得其能更稳定的应用于网络安全入侵检测是一个急需解决的问题；另一方面，目前的数据中心或者大规模的业务服务不再是运行于单台机器之上，并且入侵检测所需处理的数据量也是当台机器难以处理的，另外，网络安全入侵检测要求快速、实时的进行结果输出，因此，亟需一种大规模并行实时入侵检测方法。

发明内容

本发明是为了解决现有的入侵检测方法受孤立点、噪声点以及初始聚类中心影响较大的问题以及速度有待于提高的问题。现提供一种基于k-means的大规模并行化网络入侵检测方法。

一种基于k-means的大规模并行化网络入侵检测方法，包括以下步骤：

步骤1、将读取的流量特征进行预处理；

步骤2、采用Isolation Forest算法进行样本异常度系数计算；

步骤3、通过设定的异常度系数阈值进行样本过滤；

步骤4、将步骤3处理后的数据进行分片；

步骤5、利用中间值插值法生成对应维度上的初始聚类中心；

步骤6、利用spark-k-means进行局部聚类分析：

步骤7、将各聚类后所得的簇作为数据点进行再次集中聚类，利用投票法决定对应簇内的节点是否是异常请求。

进一步地，步骤1所述将读取的流量特征进行预处理的过程包括以下步骤：

首先，对于离散型的流量特征，进行数值化处理；