[发明专利]一种基于灰色LOF流量异常检测系统及其检测方法

说明书

本发明涉及流量异常检测的技术领域，更具体地，涉及一种基于灰色LOF流量异常检测系统及其检测方法。本发明的基于灰色LOF流量异常检测系统通过信息采集模块采集原始的数据流量包，使用数据清理技术对数据进行预处理，提取并归纳每个流量数据包的高关联字段作为检测数据源；通过灰色区分模块利用灰度理论对信息采集模块提供的数据进行分析和预判，大规模降低数据计算规模，降低LOF算法的时间复杂度，有效提高时效性；通过LOF分析模块计算数据流量包的异常程度，基于密度进行检测，计算每个流量包与附近流量包的分隔程度，无需预先设置流量的具体异常状态，相对传统方法具有很高的灵活性。

技术领域

本发明涉及流量异常检测的技术领域，更具体地，涉及一种基于灰色LOF流量异常检测系统及其检测方法。

背景技术

随着智能电网的建设，数据网及其承载的业务系统得到迅猛发展，每天都会有大量的网络流量产生。而混杂在正常流量中的异常流量，对网络造成极大的损害，使网络服务质量急剧下降，严重时甚至造成网络瘫痪。因此，检测异常流量是数据网运行维护工作的重要方面。

目前，异常流量检测常利用主成分分析对网络流量矩阵进行了降维，此思路简洁易理解且准确率高，但这种方法一方面网络流量矩阵难以构建、高维协方差矩阵难以求解，另一方面算法的时间复杂度为o(n³)，时间成本太大；另外基于ODSP的网络流量时序分析流程模型被提出，设计多视图协作的可视分析原型系统，可以全面探测网络状况，但对异常的检测大多依赖人工完成；基于熵理论的网络流量分析方法也被提出，利用流量空间上信息单元存在的长相关特性，对熵理论进行改进，但难以解决不同时间段流量分布差异较大的问题，很难同时保证检出率高和误判率低，缺乏自适应性；基于信号分析的方法也有些研究者提出，通过对信号的频谱、能量谱密度等多种特征进行分析从而检测异常，但由于异常流量特征的复杂性和多变性，该方法有较高的漏检率和误检率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无需标签、自适应性强、时效性好、且能满足数据网业务流量类型的多样化和异常检测的实时性要求的基于灰色LOF流量异常检测系统及其检测方法。

为解决上述技术问题，本发明采用的技术方案是：

提出一种基于灰色LOF流量异常检测系统，包括信息采集模块、灰色区分模块、LOF分析模块和输出模块：所述信息采集模块用于原始数据的采集和预处理，并将数据传输至灰色区分模块；所述灰色区分模块用于对数据进行分析和预判得到需要计算的灰色区域，并将灰色区域传输至LOF分析模块；所述LOF分析模块用于分析灰色区域中的对象，并将分析结果传输至输出模块；所述输出模块用于将分析结果输出至终端。

本发明的基于灰色LOF流量异常检测系统，通过信息采集模块采集原始的数据流量包，一般采集到的原始流量数据包共有25个字段，使用数据清理技术对数据进行预处理，提取并归纳每个流量数据包的高关联字段作为检测数据源；通过灰色区分模块利用灰度理论对信息采集模块提供的数据进行分析和预测，把预测的结果和实际数据作对比，将结果偏差在一定范围内的归为正常流量，将结果偏差超出范围的判定为灰色流量，所有的灰色流量构成灰色区域，灰色区域成为LOF分析模块的区域，减小LOF模块的时间复杂度，有效提高时效性；通过LOF分析模块计算数据流量包的异常程度，将异常因子接近1的点归为正常点，将异常因子偏离1的点归为异常点，并将检测到的异常点传输至输出模块；输出模块将检测到的异常流量输出给所需目标终端。

本发明还提供了一种基于灰色LOF流量异常检测系统的检测方法，包括以下步骤：

S1.通过旁路部署在数据网网络节点上的流量采集设备采集原始的数据流量包，使用数据清理技术对数据进行预处理，提取并归纳每个流量数据包的高关联字段，并确定选取PacketsIn、PacketsOut、BytesIn和BytesOut四个字段作为检测数据源；