[发明专利]基于大规模网络流的多路学习入侵检测方法

说明书

本发明公开一种基于大规模网络流的多路学习入侵检测方法，训练阶段，先通过将大流量网络中的数据根据网络协议类型划分成TCP，UDP和Other三种协议类型的小数据流，再通过K‑means算法和同质性度量对入侵的网络数据进行特征选择，并使用特征选择之后的训练数据集训练模型；实测阶段，基于网络协议类型将网络中的大流量数据划分成几种小的数据流，然后对划分之后的数据流两阶段检测。本发明可以更好的识别网络中的攻击类型，有效的提升网络入侵检测系统对大流量数据的检测性能。

技术领域

本发明涉及网络入侵检测技术领域，具体涉及一种基于大规模网络流的多路学习入侵检测方法。

背景技术

随着网络范围和规模的不断扩大，网络中的数据量正在以指数形式增长，分析和检测网络数据的攻击类型难度也在加大。由于网络流中的数据量大难以处理，现有的入侵检测系统处理海量数据的效率过低，无法高效的检测大网络流中的恶意攻击，严重制约了入侵检测系统的实际应用和未来发展。

近年来，机器学习由于其良好的分类性能，逐渐被应用于入侵检测领域。该技术先通过学习网络数据的特征建立模型，再利用分类算法对建模后的数据进行分类。入侵检测领域最常用的机器学习算法有朴素贝叶斯、随机森林、SVM和K-近邻等。Saleh等人提出了一种能够实时有效应对多分类问题的入侵检测系统。首先使用NB对数据进行降维，然后使用优化后的SVM完成对异常值的剔除，最后使用K-近邻算法对剔除异常值后的数据进行分类。任家东等人提出基于K-近邻算法和随机森林相结合的入侵检测方法，首先采用K-近邻算法对数据集进行预处理，然后基于新获得的数据集使用随机森林算法训练分类器。但是这些方法在入侵检测过程中往往会出现过度拟合、冗余特征导致的高偏置问题，而且这些方法对于大流量数据中的攻击类型不能进行有效的学习和检测。

发明内容

本发明所要解决的是现有入侵检测系统无法对大流量网络中的攻击类型进行高效检测的问题，提供一种基于大规模网络流的多路学习入侵检测方法。

为解决上述问题，本发明是通过以下技术方案实现的：

基于大规模网络流的多路学习入侵检测方法，包括步骤如下：

步骤1、收集网络攻击数据集，并根据网络协议类型将收集到的网络攻击数据集划分为3个协议子数据集，即TCP协议子数据集、UDP协议子数据集和Other协议子数据集；

步骤2、分别对3个协议子数据集进行数据预处理，得到3个预处理后的协议子数据集；

步骤3、对于每个预处理后的协议子数据集：先使用K-means聚类算法进行聚类，将每个预处理后的协议子数据集聚类；再使用同质性度量计算每个特征的特征得分；后将特征得分与预设的得分阈值进行比较，保留特征得分大于得分阈值的特征，由此得到特征选择后的协议子数据集；

步骤4、利用3个特征选择后的协议子数据集对3个深度神经网络进行训练，得到3个深度神经网络模型，即TCP深度神经网络模型、UDP深度神经网络模型和Other深度神经网络模型；

步骤5、根据网络协议类型对实时采集到的网络流量数据进行分类，确定该网络流量数据的协议类型；

步骤6、对网络流量数据进行数据预处理，得到预处理后的网络流量数据；

步骤7、先将预处理后的网络流量数据送入到sigmoid分类器进行二分类，将其划分为正常流量和异常流量两种；再将属于异常流量的预处理后的网络流量送入到对应协议类型的深度神经网络模型中，由此确定该网络流量数据所属的攻击类型。

上述步骤2和6中，对协议子数据集和网络流量数据进行数据预处理包括数值化和归一化。

上述步骤3中，特征得分h为：