[发明专利]数据中心网络中全网流量测量方法、系统及丢包检测方法

说明书

本发明公开了一种数据中心网络中全网流量测量方法、系统及丢包检测方法，所述系统包括用于支持捕获所有流经该交换机的流量的采集器，采集器包括数据包解析模块、缓存器模块和计数表模块；数据包解析模块，用于解析收到的数据包的五元组信息和数据包大小信息；缓存器模块，用于建立并维护缓存空间以缓存流量信息，并维护缓存空间中的流量信息；缓存器模块更新流量信息的方式为递增操作；计数表模块，用于建立并维护计数表以存储流量信息，同时维护计数表中的流量信息；当缓存器模块缓存空间无空余时，缓存空间中的流量信息经压缩后，更新或添加至计数表对应位置中。本发明可保证流量信息的实时性、准确性和全面性，支持多样化的网络测量需求。

技术领域

本发明属于网络测量技术领域，具体涉及一种数据中心网络中全网流量测量方法、系统及丢包检测方法。

背景技术

网络规模的不断扩大，使得数据中心网络结构逐渐复杂化，同时用户对网络服务质量的要求以及公司对网络设备精细化管理的要求也变得越来越高。传统的人工排查故障的方式响应迟缓、处理效率低下，无法适应这些新变化、新需求。因此，常态化的网络流量测量是对这些复杂数据中心网络进行管理监控的基础手段。而多样化的网络问题，比如网络黑洞、丢包、路由错误等都给网络测量带来了越来越大的挑战。

在交换机中部署测量探针，以被动测量的方式对流量信息进行记录，可保证测量数据的实时性、准确性和全面性，同时降低了测量本身对带宽资源的占用和对实时网络状态的影响，成为了一种被广泛使用的网络测量方式。

NetFlow是一种目前广泛应用的、部署于交换机中的被动流量测量工具，采用了抽样哈希的方式来压缩和存储流量信息，以减少捕获流数目的方式来减小存储消耗。但是在流的数量很多的情况下，简单的抽样哈希使得哈希冲突发生的概率大大增加，从而加剧存储空间的消耗，导致流插入的速度无法与交换机处理数据包的速度相匹配。

FlowRadar通过IBLT(Invertible Bloom Lookup Table)的哈希存储结构对所有的流进行编码统计，与传统的哈希表存储方式相比压缩了存储空间，从而能够存储所有的流信息。但是FlowRadar的局限性在于，解码过程存在较大的时间开销，不利于快速分析和检测网络异常。

OpenSketch，OneSketch等技术采用抽样的压缩计数方法，并将得到的流量信息存储在名为Sketch的数据结构中。基于哈希的Sketch数据结构可通过设置哈希函数，将具有相同哈希值的键值数据存入相同的桶内，以减少空间开销。桶内的数据值作为测量结果，是真实值的近似。OpenSketch，OneSketch等流量测量技术可以减小对交换机存储和计算资源的占用。但是，Sketch不能有效存储全部网络流量、抽样导致的部分流量信息损失等问题会导致流量信息无法反映真实的网络状态。

LossRadar仅提供对丢包的快速有效检测，虽然在丢包检测上能够实现非常好的实验效果，但是不能应对测量应用多样化的需求。

因此，针对测量探针部署于交换机中的被动流量测量技术，如何在保证获取到的流量信息具有实时性、准确性和全面性的同时，降低流量信息在存取过程中产生的时间开销和空间开销，同时支持多样化的网络测量需求，成为了亟待解决的关键技术问题。

发明内容

本发明提供了一种数据中心网络中全网流量测量方法与系统，降低哈希冲突频率、加快数据包处理速度、降低交换机存储开销和计算资源开销，保证流量信息的实时性和准确性；同时对流量的五元组(FiveTuple)、数据包数量(PacketSize)和总字节数(ByteSize)信息进行记录的方法，可保证流量信息的全面性，支持多样化的网络测量需求。

为达到上述目的，本发明所述一种数据中心网络中全网流量测量系统，包括采集器所述采集器部署并运行于交换机或服务器上，支持捕获所有流经该交换机的流量，所述采集器包括数据包解析模块、缓存器模块和计数表模块；

所述数据包解析模块，用于解析收到的数据包的五元组信息和数据包大小信息；