[发明专利]一种分布式异常检测网络数据流的方法

说明书

本发明涉及一种分布式异常检测网络数据流的方法，包括以下步骤：步骤S1:设终端设备与网络的连接接口的一结点为普通结点，每个检测点监测一普通节点，用以检测普通节点处是否存在异常数据包；步骤S2：采用三种检测方法进行层次化的异常检测，第一层检测采用基于特征匹配的异常检测方法，第二层检测采用基于统计分析的异常检测方法，第三层采用基于机器学习与数据挖掘的异常检测方法：步骤S3：利用普通结点进行检测点之间的信息共享，则所有检测点的特征库进行有效更新。本发明可以减少检测点的数量，同时使得各检测点负载均衡，也可以有效保护终端设备，并减少网络中异常包的数量，以及确保数据的精度。

技术领域

本发明涉及网络技术领域，特别是一种分布式异常检测网络数据流的方法。

背景技术

网络数据流异常是指对网络传输造成影响，导致终端用户无法正常使用的现象。数据流异常会对网络的性能造成一定程度的影响，消耗设备资源，严重时甚至可能导致网络瘫痪。例如：分布式拒绝服务攻击，攻击者通过控制多台不同IP地址的计算机，对某个服务器进行攻击，通过发送大量的数据报文，不仅使服务器资源使用率过高，还占用网络带宽，造成网络拥堵，甚至服务器瘫痪。使得正常用户的正常请求无法得到服务器的响应。因此，检测网络数据流出现的异常并采取一定措施进行处理，以保障网络安全就显得尤为重要。

该领域研究中根据异常检测的检测点部署位置的不同，可分为单点的异常检测和分布式的异常检测。

单点的异常检测是通过在单个主机上配置检测系统，来识别主机上出现的异常，它可以针对主机异常进行细致的分析并发出警报，对检测小型网络的主机异常具有较好的性能。但随着网络规模的不断扩大，对每个主机设置检测节点的成本太高，弊端凸显。而且这种方式无法了解网络的流量信息，只能对主机异常进行检测。

分布式异常检测作为异常检测的一种方法被广泛应用于网网络安全领域。它的主要思想是在要监测的网络中设置多个检测点和一个处理中心，通过彼此的协同工作完成异常数据流的检测。通常采用抽样检测的方式检测部分的网络数据流，通过处理和分析，判断整个网络中的异常数据流情况。

网络数据流的异常检测的典型分布式逻辑结构主要有两大类。第一类是分布式的数据搜集，集中式的数据处理；第二类是分层结构的数据搜集和处理。

第一类分布式的数据搜集，如图4所示，集中式的数据处理中需要两类监测点：探测节点和分析节点。其中探测节点负责收集网络信息，中心分析节点负责所有的计算和分析任务。这种结构的优点主要体现在数据的准确度比较高，因为数据搜集完成后直接交由分析结点处理，没有经过其他途径。但其缺点是，一个分析结点负责多个搜集结点，造成分析结点的负载过重。

第二类分层结构的数据搜集和处理需要配置多个分析节点，如图5所示，通过节点的深度分为高层节点和底层节点。底层分析节点收集处理后的信息输出给高层分析节点，由高层分析节点进行彼此关联分析。这种结构的优点体现在使用分层的结构，使得各个分析结点的负荷大大降低。但缺点是在数据搜集后需要经过层层的分析处理并向上层节点传递，使得每经过一层，数据的精确度便有所降低，导致高层的分析结点很难准确的对当前网络状况进行判断。

对检测点进行部署后，在单个检测点上进行异常检测的技术主要 分为三类：

1、基于特征匹配的异常检测技术，其主要思想是：特征库中存储下已知异常的特征数据，检测点通过提取数据流的相应特征属性，与特征库进行匹配来确定数据流的异常情况。该匹配又分为模糊匹配和完全匹配。模糊匹配，当相似率超过指定阈值，则认为异常。完全匹配，只有当相似率达到百分之百的时候，才认定为异常。这种方法可以根据已有的异常数据流特征库检测出特征库中存在的异常，具有较高的准确性和可靠性。但是这种方法只能对已知的异常进行检测，无法识别未知的异常数据流。