[发明专利]融合流模型对抗生成网络和聚类算法的网络异常流量检测方法

说明书

本发明提出融合流模型对抗生成网络和聚类算法的网络异常流量检测方法，该方法包含步骤：S1:获取网络流量数据，并对其进行分类存储；S2:数据预处理；S3:设计神经网络模型；S4:训练网络模型，根据流模型的输出计算阈值γ；S5:用训练好的模型对网络流量进行预测；S6:利用对抗生产网络合成灰度图：S7:对未知类型网络流量对应的灰度图使用密度聚类算法聚类,根据聚类结果更新训练集数据并重新训练网络模型；S8:对网络流量进行分类得到分类结果。该方法能实时检测各种已知和新型未知的网络攻击并有效提高网络异常流量的检测效率。

技术领域

本发明涉及网络安全维护中的异常网络流量检测领域，尤其涉及融合流模型对抗生成网络和聚类算法的网络异常流量检测方法。

背景技术

深度学习技术在图像、语音识别、自然语言处理等领域的出色表现以及可自主学习特征和端到端的优势，为异常网络流量检测的发展带来了新的契机。深度学习能够自主的学习到网络流量数据的内在特征，而不需要根据专业领域知识人为的提取这些内在特征，将这些学习到的重要特征作为机器学习算法输入来完成分类问题，节省了大量的人力资源和时间成本。

在深度学习领域，卷积神经网络(CNN)是一个经常用于提取图片空间特征的神经网络，现在计算机视觉领域很多复杂的模型，其基础网络都是CNN。

在深度学习领域，长短期记忆神经网络(LSTM)是一种时间循环神经网络，是自然语言处理领域的一个经典模型，是为了解决一般的循环神经网络(RNN)存在的长期依赖问题而专门设计出来的。LSTM可以非常充分的学数据存在的时序特征。

特征融合：在很多工作中，融合不同尺度的特征也是提高分类性能的一个重要手段。低层特征分辨率更高，包含更多位置和细节信息，但是由于经过的卷积更少，导致其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合，充分发挥各自的优点，是改善模型的关键。

流模型(Flow-based Model)是一种生成模型，与其它生成模型不同的是它直接对生成模型的概率进行计算，流模型的原理公式如(1),(2),(3)所示，流模型能够用来预测每个示例的概率密度，当输入样本的概率密度很大时，输入样本可能是具有已知类别的训练分布的一部分，且此时离群值(outlier)的密度值会很小。本专利改进之处在于改变流模型的输入，原始的流模型输入的数据都为图片数据，在这将流模型的输入改成特征提取模块提取的特征并且在使用流模型时与普通的softmax分类器结合这样可以更好的实现对未知类型的网络流量数据的识别与分类并提高模型检测的实时性，

p_G(x)中的样本点与π(z)中的样本点间的关系为:

p_G(xⁱ)＝π(zⁱ)(|det(J_G)|)^-1，zⁱ＝G^-1(xⁱ) (2)

将上式取对数，得到：

在上述公式(1),(2),(3)中G^*是生成模型的表达式，其中m表示输入数据的个数，z服从已知简单先验分布π(z)(高斯分布)，x＝G(z)服从更加复杂的分布p_G(x)，p_G(x)代表训练数据的分布,J_G是函数G的雅可比矩阵，det(J_G)表示求矩阵J_G的行列式,表示Flow-based Model的输出值，x_i表示数据集第i个数据。