[发明专利]一种基于多维分层相对熵的网络流量异常检测方法

说明书

技术领域

本发明是一种检测网络流量异常的方法。主要用于解决网络受攻击导致流量发生异常时的检测问题，属于网络安全技术领域。

背景技术

当今网络规模的急剧扩展，网络所面临的安全问题越来越复杂，对网络流量的分析是网络安全管理尤其是入侵检测分析的重要研究内容。网络流量的异常是指对网络常规使用所造成不良影响的网络流量模式，造成网络流量异常的原因很多，一般包括：1) 网络存储耗尽及网络误配置等；2）网络的使用问题，如大量频发的P2P应用模式对网络流量所造成的影响；3) 网络病毒，如蠕虫病毒、木马等；4)网络攻击事件，如持续性的端口扫描攻击、DoS攻击和DDoS攻击等。网络流量异常的检测是指检测何时甚至何处导致网络流量模式发生，便于安全人员排查网络异常、维护网络正常运转、保证网络的安全和性能。

近年来的大量研究表明，不管是局域网还是广域网，网络流量都具有明显的突发性和长相关性，而网络的自相似性特性可以很好地描述流量这些特性，所以，自相似性已成为网络流量的重要特性并以此作为流量异常检测的基础。现今已有大量计算机学科领域的算法和模型包括聚类分析、支持向量机SVM、神经网络等方法都已经被用在网络流量的异常检测方面，但由于网络流量本身具有突发性和快速变化的特点, 使得基于神经网络、支持向量机SVM等非统计的流量异常检测方法在样本个数量大时的效率大大降低，算法过程复杂导致它们也不易部署在在线实时异常检测系统上。

基于统计的方法，是一种主动安全防护技术，是以历史流量作为正常流量的参考，通过采集过期一定时间窗口内的历史流量作为正常流量，依据当前窗口内采集的数据与前一窗口数据的变化程度来检测异常,该方法由于不需要事先知道异常的特征，因而可以检测未知特征的流量异常。而基于统计的异常方法如PCA子空间检测法、与时间关联的小波分析方法在实时性能上和检测效果上性能也较欠缺。

综上所述，非统计的流量异常检测方法时间复杂度相对较高，统计类的检测方法在检测效果上还不甚理想。且当前由于网络攻击所导致的流量异常越加趋于隐蔽性,比如Conficker蠕虫,由于它采用休眠等方式来有效地降低扫描速率，所以该类攻击在整体流量上并不会出现剧烈的变动, 如采用以上方法就不能有效检测出流量异常。

 

发明内容

技术问题：本发明的目的是提供一种针对网络流量发生异常时如何进行检测的解决方案，来解决检测网络流量异常的实时性和准确性不高的问题。

技术方案：本发明的方法是一种策略性的方法，通过对网络流量进行多维分层，运用熵的理论，在各个分析视图上建立熵值序列，采用相对熵来对网络流量进行异常检测。

    下面对本发明运用到的概念进行描述。

定义1：网络流量的维度，是指流量数据中可用于异常检测的属性，例如网络流量S中数据包对应的元组，定义为:

             (1)

其中T_i是网络流量的时间戳，A_u为网络流量的一个检测维度，下标dmax为网络流量最大维度数。

    因为熵可以有效度量系统参数分布的变化情况，描述长时间的随机过程，因而可用来描述网络流量在某些维度上的分布状况。以源IP地址为例，在某个时间窗口对应网络流量的源IP地址维度的熵可定义为：

                         (2)

其中N为出现的不同源IP地址的数据包数量，P(SrcIP)_i为第i个源IP地址对应的数据包数量占总数据包数量的比例。当SrcIP只有一种取值即所有数据包为同一源IP地址时，没有不确定性，取得最小值0；当SrcIP取值都相同时，取得最大值log₂N，故有。网络流量源IP地址的熵值越大，表示流量在源IP地址上分布越随机，越均匀；相反，熵值越小，表示在这些地址上分布范围越小，源IP在某些值上出现的概率就越高。

   熵值可以很好地描述网络流量异常时流量所呈现的分布变化，然而在每个维度上按照单个标识量进行聚集统计并不现实也没必要，可根据维度取值在更高的层次上进行聚集来大量减少标识量的统计。下面对网络流量的层次、分析视图进行定义。

定义2：网络流量的层次，是在对一个维度进行概念分层的过程中对其递归地进行离散化产生属性值的分层或多分辨率划分，每个分层定义了该维度的一个离散化。例如对于式(1)中的Au维度，将其在取值空间中进行离散化后得到