[发明专利]一种网络流量异常检测方法及系统

权利要求书

1.一种网络流量异常检测方法，其特征在于该方法包括以下步骤：

步骤1.获取已经收集并分析出攻击类型、存储在数据库中带攻击标签的历史网络流数据集，并将历史网络流数据集进行预处理生成数据集D_h，用于卷积神经网络模型的流量异常检测训练；

所述数据预处理包括特征提取、特征预处理；

其中特征提取包括TCP连接基本特征、TCP连接的内容特征、基于时间的网络流量统计特征和基于主机的网络流量统计特征；

其中特征预处理包括文本以及标签特征转化为数值，对数值型特征进行规一化处理，删除特征缺失值所在行；

步骤2.构建卷积神经网络模型用于网络流量异常检测；所述卷积神经网络模型由卷积层、池化层、全局平均池化层和softmax层组成；

通过数据集D_h对卷积神经网络模型进行训练，模型训练完成后采集从检测开始时时间段t内网络流量数据D_t进行步骤1的数据预处理后，作为输入对网络流进行识别，得到网络流对应各个异常流量类别的置信度分数的集合S；

步骤3.利用深度学习中置信度分数累积分布函数特性和其精度边界参数β从置信度分数集合S中过滤出未知异常网络流集合

步骤4.通过主成分分析对步骤3得到的未知异常网络流集合F_n进行特征提取来降低特征维度；；

步骤5.利用步骤4中提取的特征，采用K-means算法进行聚类得到最优聚类模型；将聚类模型中的所有分组分配异常标签，并将已分配的异常标签储存至F_n的异常标签集l_n中；

步骤6.利用数据集D_t+1重新对步骤2中卷积神经网络模型进行训练，并采用迁移学习迁移当前模型参数以简化训练过程，所述数据集D_t+1由数据集D_t、未知异常网络流集合F_n和异常标签集l_n组成；

步骤7.根据网络新增异常频率情况，设定周期时间，定期地重复执行步骤3到步骤6，以更新卷积神经网络模型训练状态，提升卷积神经网络模型在动态网络环境中对新型异常流量识别的准确度。

2.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的TCP连接基本特征包括：连接的持续时间、协议类型、连接目的端的网络服务、从源主机到目的主机数据的字节数、从目的主机到源主机数据的字节数、连接来自/到同一主机/端口。

3.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的TCP连接的内容特征包括：访问系统敏感文件和目录的次数、登录尝试失败的次数、使用shell命令的次数、root用户访问次数、文件创建操作的次数、问控制文件的次数。

4.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的基于时间的网络流量统计特征包括：过去两秒内，与当前连接具有相同的目标主机的连接数、过去两秒内，与当前连接具有相同服务的连接数、过去两秒内，在与当前连接具有相同服务的连接中，与当前连接具有不同目标主机的连接的百分比。

5.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的基于主机的网络流量统计特征包括：前50个连接中与当前连接具有相同目标主机的连接数、前50个连接中与当前连接具有相同目标主机相同服务的连接数、前50个连接中与当前连接具有相同目标主机相同服务的连接所占的百分比、前50个连接中与当前连接具有相同目标主机不同服务的连接所占的百分比以及前50个连接中与当前连接具有相同目标主机相同源端口的连接所占的百分比。

6.根据权利要求1所述的一种网络流量异常检测方法，其特征在于：

所述的置信度分数集合S为：