[发明专利]一种网络流量异常检测方法及系统

说明书

本发明公开了一种网络异常流量识别方法及系统。本发明是根据动态环境下网络流量中正常流量和已知异常流量在神经网络模型中识别置信度分数累积分布函数接近于1而未知异常流量置信度分布为均匀分布的特点，在基于深度学习的网络流量异常检测模型的基础上新增一个基于深度学习的二元判别器，以判断出动态网络流量中的哪些属于未知异常流量，再将得到的未知网络流量集合聚类标记，得到带新型网络流量异常标签的新数据集，网络流量异常检测模型根据网络新增异常频率情况人工设定周期时间定期地训练新数据集更新模型状态，以达到提升在动态网络环境中对未知的新型异常网络流量识别的准确度的效果。

技术领域

本发明涉及网络技术领域，尤其涉及了一种网络流量异常检测方法及系统。

背景技术

随着互联网和通信设备的快速发展，网络安全威胁不断增加，网络流量异常检测能够及时发现网络中的未知攻击并采取防护措施，对于防止网络攻击行为的发生、维护网络空间的安全等有着重要的意义。

网络异常流量是指与网络服务质量(QoS)有差异的流量。硬件上的网络设备故障以及人为的恶意攻击都会导致网络流量异常。例如，黑客使用密码破解、系统漏洞与欺骗、端口扫描、拒绝服务攻击或其他的网络攻击行为等。

目前已有相关技术研究网络流量异常检测，但是现有技术大都基于网络流量数据类型分布相同，而现实的网络环境具有动态变化的特点，其中包括数据分布和攻击类型，新型攻击类型的出现使得数据分布和构建模型使用的数据不一致，导致现有技术对新型异常类型检测准确率低、误报率高的问题，那么根据历史静态数据构建好的模型在新的动态网络中将不再适用。

发明内容

本发明所要解决的技术问题在于针对背景技术所指出的不足，提供一种网络流量异常检测方法及系统，以在网络活动期间可以定期自动更新基于深度学习的网络流量异常检测模型，提升模型在动态网络环境中对未知的新型异常网络流量识别的准确度。

本发明为解决上述技术问题而采用以下技术方案实现：

本发明包括以下步骤：

步骤1.获取已经收集并分析出攻击类型、存储在数据库中带攻击标签的历史网络流数据集，并将历史网络流数据集进行预处理生成数据集D_h，用于卷积神经网络模型的流量异常检测训练；

所述数据预处理包括特征提取、特征预处理；

其中特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征；

其中特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，删除特征缺失值所在行；

步骤2.构建卷积神经网络模型用于网络流量异常检测；所述卷积神经网络模型由卷积层、池化层、全局平均池化层和softmax层组成；

通过数据集D_h对卷积神经网络模型进行训练，模型训练完成后采集从检测开始时时间段t内网络流量数据D_t进行步骤1的数据预处理后，作为输入对网络流进行识别，得到网络流对应各个异常流量类别的置信度分数的集合S；

步骤3.利用深度学习中置信度分数累积分布函数特性和其精度边界参数β从置信度分数集合S中过滤出未知异常网络流集合F_n^l；

步骤4.通过主成分分析对步骤3得到的未知异常网络流集合F_n进行特征提取来降低特征维度；；

步骤5.利用步骤4中提取的特征，采用K-means算法进行聚类得到最优聚类模型；将聚类模型中的所有分组分配异常标签，并将已分配的异常标签储存至F_n的异常标签集l_n中；