[发明专利]全网异常诊断

说明书

对相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求2005年6月29日提交的美国临时专利申请号60/694,853和60/694,840的权益，其内容在此通过引用并入。

联邦赞助的研究或开发

本发明的部分开发得到国家自然基金ANI-9986397和CCR-0325701的支持。

背景技术

网络异常是如网络提供商、网络用户、网络运营商或者执法机关等机构所关心的网络中的异常事件。网络异常可能无意中由正常的网络业务状况引起，例如由网络资源中断引起。网络异常也可能由黑客的恶意攻击或者破坏网络或者损害网络性能的人故意造成。

通常，通过从网络组件如网络的一个链路或者一个路由收集数据对网络异常进行监控和分析。这些数据的收集与其他网络数据和其他网络组件隔离。换句话说，发现网络异常与链路级业务特性密切相关。

监控和分析网络异常的另一个方法是将网络异常作为网络业务量的变化。这样可以检测到明显的网络异常，但是基于业务流量的方法不能检测低速率网络异常(例如蠕虫、端口扫描、小的中断事件等)。

另一个监控和分析网络异常的方法是制定一个规则的手工方法。与规则匹配或者违反规则确定是否遇到了网络异常。然而，基于规则的方法不能检测新的之前未遇到的异常。

许多目前的方法针对一个网络部件、针对网络异常的每个分类提供了解决方案，而针对网络的许多部件的解决方案是优选的。

发明内容

本发明涉及用于检测、监控或者分析异常网络事件或者通信网络中的网络异常的方法和装置以及为了他人的利益进行这些检测、监控或者分析。本发明的实施例可以通过应用许多统计和数学方法检测、监控或者分析网络异常。本发明的实施例包括检测、监控和分析网络异常的方法和装置。这些实施例包括分类和归位(localization)。

本发明是用于有效、连续地检测和分类网络中的异常事件(异常情况)的通用技术。该技术基于分析整个网络内业务的多个特性(地址、端口等)的分布特性。分析业务特性的分布具有两个关键元素，用于将网络异常分成有意义的群集。

同时分析网络业务的多个业务特性(地址、端口、协议等)的分布。利用特性分布的异常检测非常敏感，并且通过暴露不能用基于流量的方法检测的低速率重大异常扩展了基于容量的检测。

创建网络业务的特性分布以提取关于异常的结构信息。该异常的结构信息用于将异常分类为不同的群集，这些群集就结构和语义而言是有意义的。通过无监视的方法对异常进行分类，因而，对异常的分类不需要人工干预或者先验知识。该无监视方法允许本发明识别并且分类新的(之前未知的)异常(例如，新的蠕虫)。

此外，本发明分析整个网络数据的多个特性，即，从网络中多个资源收集的数据。分析整个网络使得可以检测到整个网络内的异常。对整个网络的分析与特性分布分析结合使得本发明可以检测和分类整个网络的异常，扩展了主要对单个资源数据进行基于流量分析的当前方法的检测能力。

对从多个网络资源(即，网络链路、路由器等)收集的数据进行系统分析是本发明的主要特征。通过利用整个网络的数据，本发明可以诊断大范围的异常，包括蔓延整个网络的异常。诊断可以确定异常出现的时间、异常在网络中的位置以及异常类型。

异常可能源自从滥用(攻击、蠕虫等)到无意(设备故障、人工错误等)等各式各样的原因。本技术不限于各个类型异常的点解决。相反，通过将异常作为实质性偏离确定的正常行为，本发明提供了诊断大量异常事件的通用解决方案。

一个实施例描述形成具有至少一个对应于由网络部件处理的通信网络业务的维度的时间序列，并且将时间序列分解成这些网络部件中存在的若干通信网络业务。

另一个实施例形成具有至少一个对应于由网络部件处理的通信网络业务的维度的一个或多个变型的模型，并且检测通信网络业务模式中的异常。

另一个实施例找出通信网络业务特性中的偏差。

另一个实施例生成通信网络业务特性的至少一个分布，估计通信网络业务特性的一致性(entropy)，设置通信网络业务特性的一致性门限，在通信网络业务通信的一致性与所设定的通信网络业务特性一致性门限不同时，确定通信网络业务特性为异常的。

附图说明

下文的具体说明和附图对本发明的这些和其他特征进行了描述，其中：

图1示出本发明中用于异常检测数据源的整个网络；

图2A-2C示出根据本发明的一方面处理网络数据；

图2D-2G是对理解本发明有用的分布；