[发明专利]网络流存储方法

说明书

技术领域

本发明属于网络技术中流量分类技术领域，尤其涉及一种新的网络流存储方法。

背景技术

由于网络技术和网络带宽的发展迅速，网络中的数据流量也成倍增加，在高速骨干网络上，数据流量已经达到每秒钟Gbit、甚至10Gbit以上。不断增大的网络流量对流量分类提出了新的挑战：传统的基于数据包的流量分类系统的效率已难以满足高速骨干网监测的需要。在高速宽带网络环境下，网络数据高速无穷到达，且不间断，呈现海量数据特点，并且本地无法进行存储。因此，依靠数据包捕获-数据包还原-模式匹配的传统的流量分类系统效率无法满足需要。此外，随着网络环境的日益复杂，越来越多的应用层协议采用加密协议加密数据包载荷。在这种情况下，寻找数据包载荷关键的难度越来越大，最终导致基于数据包的流量分类技术严重失效。

不同于基于数据包的流量分类技术，基于网络流的流量分类技术着眼于网络流。传统上把网络流定义为具有相同五元组（<源地址，目的地址，源端口，目的端口，协议>）的数据包的集合。作为一种数据交换方式，网络流从一个微观层面上反映了主机行为和主机之间相互通信的细节。

基于网络流的流量分类技术的假设前提是不同协议会有其特有的网络流统计特性，并以此来分类不同协议产生的流量。由于该技术引入了大量的统计信息作为基本参考因素，所以它不可避免地将机器学习的方法结合到了识别中，期望取得更好的流量分类性能。机器学习方法于2004年被引入到流量分类技术中，根据流量具有的统计特性对流量进行分类。例如，网络流持续时间的分布特性，流空闲时间，包间隔时间，包长度等信息，对于流量分类来说，是特有的信息。它们都可以作为判别式的特征被机器学习模型利用进行流量分类。

为了提取网络流统计特征，需要建立一个提取和存储网络流的数据结构，并按照网络流的规范，从背景流量中提取并存储网络流信息。目前，几乎所有的基于网络流的流量分类系统都使用流表来提取和存储网络流。流表采用了一种Hash表加链表的结构在确定背景流量中每一个数据包所属的网络流，并对其进行存储。当一个数据包被捕获后，流量分类系统会利用该数据包的五元组计算一个Hash值，并利用该Hash值寻找Hash表中是否存在该数据包对应网络流的信息。如果不存在，则以该数据包为所属网络流的第一个到达数据包，为其建立一条网络流记录。利用Hash表存储网络流，冲突不可避免。因此，当冲突发生时，系统会为冲突的网络流建立一个链表挂载在Hash表的对应项。利用这种流表，基于网络流的流量分类系统能够准确地对应每个数据包所属的网络流，并且高效地提取单个网络流的统计特征。

随着网络技术的不断发展，新型应用层协议层出不穷。为了提高网络利用率，并且对抗流量分类系统，许多新兴应用层协议会同时启用多个网络流完成一个通信任务。其中，每个网络流仅负责任务的一部分。P2P协议是该新兴应用层协议的一个典型例子。为了更好、更快地实现文件共享，许多P2P协议会将一个文件分割成多个块，并且利用多个网络流同时分享该文件；另一个典型的例子是交互式协议，该协议在运行过程中需要和服务器进行交互。为了提高效率，多数交互式协议都会将不同的交互内容存放至不同的服务器，而客户端则会同时利用多个网络流实现信息的快速交互。这种新型的应用层协议对基于网络流的流量分类系统提出了新的挑战：首先，该协议同时使用多个网络流完成同一个通信任务，使得从单一网络流中提取并利用的知识减少，影响了分类系统的识别性能；其次，目前的基于网络流的流量分类系统着眼于单一网络流，很难将该协议所产生的所有网络流进行分类。

为了解决上述问题，应对新型应用层协议带来的挑战，越来越多的基于网络流的流量分类技术开始利用多网络流特征。这种新型的网络流特征试图从多网络流角度出发，寻找多个网络流之间的关系特征，以实现P2P、交互式协议流量的准确、完备的分类。然而，目前的流表结构却难以提取多网络流关系特征：流表使用一种扁平的结构存储网络流，网络流均匀地分布在Hash表中。具有相同Hash值的网络流可能并不存在任何关系，而属于同一协议的网络流的Hash值可能不同，因此我们很难判断网络流之间的关系。

从多网络流角度出发，寻找多个网络流之间的关系，提取多网络流之间的关系特征，能够帮助基于网络流的流量分类系统实现P2P、交互式协议等新型协议流量的准确、完备分类。然而，目前的流表结构着眼于单一网络流，使用一种扁平的结构存储网络流，很难提取多个网络流之间的关系特征。

发明内容

（一）要解决的技术问题