[发明专利]一种基于非广延熵的网络异常检测方法

说明书

技术领域

本发明涉及一种网络异常检测方法，特别是一种基于非广延熵的网络异常检测方法。

背景技术

随着互联网的普及和业务量的不断增长，大规模通信网络正在向高速化，多样化，复杂化方向发展，网络中交换的数据量越来越大，网络异常流量的危害也越来越大。

网络流量异常的特点是发作突然，先兆特征未知，大量消耗网络资源，导致网络拥塞、网络链路利用率下降、显著降低网络服务质量，有可能在短时间内给网络运营商和客户都产生极大的危害，因此实时检测和响应流量异常是防范攻击、制定网络配置策略以实现合理利用网络资源的重要手段。

网络流量异常检测根据使用者行为或资源使用情况的正常程度来判断是否网络流量异常，而不依赖于具体行为，有助于网络管理人员及时发现问题，采取相应措施，减轻异常流量的危害。然而，在大型网络中，要进行实时统计的数据量是巨大的，由于测量、分析和存储等计算机资源的限制，无法实现全部网络流量的分析。异常检测算法的最终目标是要从巨大且处于不断变化的正常流量中，检测到相对娇小的异常流量，而且要满足实时性的要求，因而系统设计和实现的难度很大。

网络流量异常检测技术自提出以来，经过了几十年的不断发展，从最初的简单方法迅速发展成种类繁多的各种算法，成为保证网络安全不可或缺的方法。近年来，常用的异常检测方法主要有统计分析、神经网络、机器学习、数据挖掘等多种方法。

(1)基于统计学方法异常检测

统计分析方法：按一定的时间间隔对系统或用户的行为进行采样，对每次采集到的样本得出的参数变量来对这些行为进行描述，产生行为轮廓，将每次采样后得到的行为轮廓与已有轮廓进行合并，最终得到正常的行为轮廓。异常检测系统通过将当前采集到的行为轮廓与正常行为轮廓相比较，来监测是否存在异常行为。

该方法的优势在于所应用的技术方法在统计学中已经比较成熟且维护方便，其不足在于门限值的确定是统计分析所面临的棘手问题，以及事件发生的顺序通常不能作为分析引擎所考察的系统属性。

(2)机器学习异常检测

该方法通过机器学习实现异常检测，将异常检测归结为对离散数据临时序列进行学习来获得个体、系统和网络的行为特征。主要学习方法包括原样记录、监督学习、归纳学习、类比学习等。机器学习异常检测方法的检测速度快，且误报率低。然而，此方法对于用户动态行为变化以及单独异常检测还有待改善。

(3)神经网络异常检测

神经网络的处理包括两个阶段。第一阶段的目的是构造异常分析模型的检测器，使用代表用户行为的历史数据进行训练，完成网络的构建和组装。第二阶段则是入侵分析模型的实际运作阶段，网络接收输入的事件数据，与参考的历史行为相比较，判断出两者的相似度或偏离度。神经网络方法的优点在于神经网络对所选择的系统度量不要求满足某种统计分布条件，但用于异常检测中也存在一些问题，在很多情况下，系统趋向于形成某种不稳定的网络结构，不能从训练数据中学习到特定的知识，另外神经网络对判断为异常的事件不会提供任何解释或说明信息，这导致了用户无法确定入侵的责任人，也无法判定究竟是系统哪方面存在的问题导致了攻击者得以成功的入侵。

(4)数据挖掘异常检测

数据发掘异常检测技术从各种审计数据或网络数据流中提取相关的知识信息，这些知识信息是蕴涵在数据之中的，对它们进行归纳总结成规则、模式等。该检测方法的优点在于只需收集相关的数据集合，处理数据能力很强，缺点是系统整体运行效率较低、误警率较高。

上述方法有的可直接适用于网络流量异常检测，有的并非是针对网络流量异常，但是对于研究网络流量异常检测同样具有指导意义。

熵是热力学中微观状态多样性或均匀性的一种度量，反映了系统微观状态的分布几率。从通信角度来看，出于随机性的干扰是无法避免的，因此，通信系统具有统计的特征，信息源可视为一组随机事件的集合，该集合所具有的随机性不确定度与热力学中微观态的混乱度是类同的。将热力学几率扩展到系统各个信息源信号出现的几率就形成了信息熵。信息熵标志着所含信息量的多少，是对系统不确定性程度的描述。因此信息的分散与集中程度可以通过熵的变化趋势来反映。相比于传统使用幅值的流量异常检测方法，使用熵来进行流量异常检测可以提高异常检测的实时性，精确性，使得报警意义更加明确。所以可以采用熵值作为网络流量异常检测的量度。