[发明专利]用于低内存和低流量开销大流量对象检测的系统和方法

说明书

本发明涉及一种用于识别通信网络中多条数据包流中的多条大流量对象(heavy‑hitter，简称HH)流的标识和大小的系统和方法。在每台路由设备处，根据可调整的过滤规则在可调整的基于略图的表格入口处过滤所述数据包流，提供基于略图的计数器用于检测所述已过滤数据包流中的候选HH流，所述候选HH流是具有误报的实际HH流。在组合中，在每台路由设备处提供转发面计数器，用于根据可调整的转发面监控规则从数据包流集合中采集转发面计数器。控制器以迭代的方式调整相应的监控规则，并基于所述候选HH流和所述转发面计数器对每条HH流进行识别估计，直至获得最终估计。

技术领域

本发明涉及一种用于监控通信网络中的最大数据包流的系统和方法，尤其涉及一种用于检测和识别大流量对象流的系统和方法。

背景技术

网络监控在网络管理中起着至关重要的作用。它提供了有关通常用于流量计费、流量工程、负载均衡或异常检测的网络流量的一些信息。

如图1所示，传统的网络监控系统100可以包括探测器和采集器，所述探测器在本地采集统计数据并且单独嵌入到诸如路由器等相应网络设备中，所述采集器聚合由不同探测器报告的所有信息并分析或计算从所述网络管理系统的不同探测器本地采集的统计数据。

所述网络监控系统的目标之一是检测并跟踪最大数据流的集合，在文献中通常称为大流量对象(heavy-hitter，简称HH)。例如，该组数据流可以定义为第一大流或具有吞吐量大于预定阈值的流。识别这些数据流有助于了解消耗大部分资源的用户(例如，应用程序或终端用户)并决定是否应对自身应用特殊处理，例如使用负载均衡器或使用专用路由。

在最简单的实现方式中，检测所述最大流量需要监控每条流量，然后过滤最大流量。然而，由于流量呈爆炸式增长且监控资源有限(例如，设备内存以及所述探测器与所述采集器之间的数据面容量)，单独监控每条流量具有挑战性，效率低下甚至不可行。其中一种不切实际的解决方案包括使用为每条流量设置计数器并报告最大条目的表格。遗憾的是，所述网络设备的访问存储器速度不足以维持这种数据结构。另一种不切实际的解决方案是将整个流量复制到所述采集器。然而，由于所述路由器与所述采集器之间的数据面的容量限制，在大多数情况下无法导出该流量。

因此，必须在网络设备上应用低复杂度、低内存流采样技术，以便克服这种资源限制。

最常用的流量监控技术是数据包采样。数据包采样规定将P个原始数据包中的一个报告给所述采集器，然后由所述采集器计算流量统计数据。该技术会在所述探测器与所述采集器之间产生大量信令流量，所述信令流量按监控时间窗期间流动的数据包数量排序。此外，这种采样技术相对于基于略图的方法精度较低。实际上，它具有相同的精度(用ε表示)，所采用的基于略图的算法单独使用比任何其它数据包采样技术(O(1/ε²)的空间)更少的内存(O(1/ε)的空间)，例如，可参见：Graham Cormode，“用于近似查询处理的略图技术”，近似查询处理概要：样本、直方图、小波和略图，数据库基础和趋势，NOW出版社，2011年。