[发明专利]用于处理网络元数据的流式传输方法和系统

说明书

技术领域

总的来说本发明涉及网络监控和事件管理。更确切地说，本发明涉及处理通过网络监控活动和随后对元数据的处理而获得的网络元数据，这可以高效地使得有用信息用及时的方式被报告给元数据的消耗方。

背景技术

网络监控是企业和服务提供者经常使用的一种至关重要的信息技术(IT)功能，其涉及监视在内部网络上发生的活动以便发现与性能有关的问题、有不当操作的主机、可疑的用户活动等。由于多个网络装置提供的信息，所以可以进行网络监控。所述信息总地来说被称作网络元数据，即，描述网络上的活动的与经由网络发射的其余信息补充和互补的一类信息。

Syslog是常用于网络监控的一种类型的网络元数据。Syslog是用于记录程序消息的一种标准，并且提供原本将不能够传送用以通知管理员问题或性能的手段的装置。Syslog通常用于计算机系统管理和安全审核以及一般化的信息、分析和调试消息。多种多样的装置(比如打印机和路由器)和接收器跨越多个平台支持syslog。因为这一点，syslog可以用于将来自许多不同类型的系统的日志数据集成到中心储存库中。

最近，另一种类型的网络元数据(被多个供应商称为NetFlow、jFlow、sFlow等)也被作为标准网络业务的一部分引入(下文总地来说被称作“NetFlow”)。NetFlow是用于收集IP业务信息的已成为业务监控的业界标准的一种网络协议。NetFlow可以通过例如路由器、交换机、防火墙、入侵检测系统(IDS)、入侵保护系统(IPS)、网络地址翻译(NAT)实体和许多其它装置等多种网络装置产生。但是，直至近年来，NetFlow网络元数据一直被专门用于事后网络监管目的，例如网络拓扑发现、定位网络吞吐量瓶颈、服务水平协议(SLA)验证等。NetFlow元数据的此有限使用总地来说可以归因于网络装置产生的信息的大量和高传递速率、信息源的多样性和将额外信息流集成到现有事件分析器中的整体复杂度。更具体来说，NetFlow元数据产生方产生的信息通常比在实时设置中消耗方可以分析和使用的信息多。举例来说，网络上的单个中等到大型交换机可能每秒产生400,000份NetFlow记录。

现今的syslog收集器、syslog分析器、安全信息管理(SIM)系统、安全事件管理(SEM)系统、安全信息和事件管理(SIEM)系统等(下文统称为“SIEM系统”)或者不能接收和分析NetFlow、或者限于处理NetFlow包中容纳的基本信息，或者对NetFlow包的处理速率比此类包的通常产生速率低许多。

例如NetFlow v9(RFC3954)和IPFIX(RFC5101和相关IETF RFC)等稳固网络监控协议的出现大幅度地扩展了在网络安全和智能网络管理领域使用网络元数据的机会。同时，由于上文所指出的约束，所以现今的系统除了简单地报告观察到的字节和包计数之外总地来说不能够利用网络监控信息。

发明内容

网络管理方和网络安全专业人员不断地面对和对抗业界通常称为“大数据”的问题。大数据问题产生的一些问题包含无法分析和存储大量的通常以不同格式和结构存在的机器产生的数据。通常经历的问题可以概括如下：

1.要实时分析以获得对网络条件的及时洞察的数据太多。

2.数据从网络上的不同装置类型以不同格式到达，从而使得来自不同装置类型的数据的相关困难并且缓慢；以及

3.要存储的数据太多(例如，为了稍后分析和/或为了遵守数据保存要求)。

本发明提供了一种能够解决与大数据相关联的所有以上所识别的问题的系统和方法，方法是通过提供以下能力：实时分析大量元数据，将大量元数据转换成允许与单个监控系统内的其它数据容易地相关的常用格式，和通过例如包验证、过滤、集合和去除重复等实时数据减少技术显著减少传入数据量。

本发明的实施例能够检查网络元数据传入包的有效性，并且丢弃残缺的或不当的消息。实施例还能够实时地检查和过滤网络元数据传入包，以便识别其信息内容和片段的相关方面，或路由传入网络元数据的不同流以便在本发明的处理引擎内进行不同处理。此不同处理中包含着减少输出元数据业务的概率，方法是通过基于可以由网络管理方配置并且在及早检查传入消息的过程中所确定的准则来丢弃特定消息或所选消息流。这使得网络管理方能够使网络分析在进行中的基础上聚焦网络分析或响应于特定网络条件暂时聚焦网络分析。作为一实例，网络管理方可以选择将注意力集中于仅仅网络上的边缘装置产生的系统内的网络元数据以便研究可能的入侵事件。