[发明专利]一种基于流量矩阵的数据流协同采样方法

说明书

本发明提供一种基于流量矩阵的数据流协同采样方法，涉及网络安全技术领域。该方法以自治域为单位，将域内所有路由节点视为一个整体，确定各路由节点的流量目录；结合各路由节点的流量目录，根据每个路由节点的采样能力，基于负载均衡思想，将自治域内总的采样任务合理的划分采样目录，分配给若干个采样点。采用基于解空间树的最优解搜索算法，在自治域控制中得出采集本自治域所有数据流所需要的路由设备以及各自的采样目录；采样点之间以协同的方式依据采样目录执行采样任务。同时，保证每条数据流都会被采集而且不会同时被多个路由节点采集。该方法控制了采样设备的数量，减少了路由设备的资源消耗，使其更好服务于网络数据转发等功能。

技术领域

本发明涉及网络安全技术领域，尤其涉及一种基于流量矩阵的数据流协同采样方法。

背景技术

对于网络中大量的流量数据，网络运营商会采集流量级别的度量值以指导多种网络管理应用。通常，这些度量值用于用户审计和流量工程，它们在很大程度上依赖于总流量统计。然而，其他的关键网络管理任务，如异常检测，网络溯源甚至是取证分析，需要识别和分析尽可能多的不同流量。这种以获取细粒度流量测量数据为目的流量采样是当前的主要趋势。特别地，在网络溯源背景下的流量采集，为了追求较高的溯源精度，对流量样本的覆盖率(流量样本与真实流量数的占比)具有较高的要求。然而，由于物理设备的限制，现代路由器都使用单点独立概率性的采样形式，即以路由器为单位使用netFlow技术按一定的概率(通常在0.001和0.01之间)对转发的数据流进行采样，这是导致了数据样本覆盖率低的主要原因。

为了解决上述问题，Vyas Sekar等人在文章《CSAMP:A System for Network-WideFlow Monitoring》中提出一种自治系统(Autonomous System，简称AS)内的协调流量监测系统——CSAMP。CSAMP将路由器网络视为一个系统，以协调的方式管理，以实现特定的测量目标。该系统以流量矩阵技术和路由信息为基础，用于估计AS内的数据流信息以及数据流转发路径，以此获取路由设备的数据流清单。路由设备由于受到内存和带宽等资源限制，无法按照数据流清单采样。所以通过一个以获取数据流最大覆盖率为目标的全网优化引擎，求得每个路由设备最优的采样清单。为了能够保证路由设备采样的数据流不重复，将采样清单使用哈希函数转化为一个哈希范围。对每一个数据包，路由器计算流标头(IP 5元组)上的哈希值并检查哈希值是否位于分配的哈希范围内，满足哈希范围则采样。为了使系统能够应对网络数据流的动态变化，优化引擎必须能够预测流量矩阵来计算采样清单。这种预测必须考虑到交通矩阵的长期变化(例如，日变化趋势)，并且能够对短期动态做出反应(例如，在几分钟的范围内)。为了处理这些问题，文章使用历史流量矩阵作为优化引擎的输入来计算采样策略。例如，要计算本周周五上午9点到10点期间的清单，需要使用前一周周五上午9点到10点期间观察到的流量矩阵。

上述现有技术的缺点是数据流采集的目标是最大化覆盖率，不能实现自治域内数据流的全采样，这并不能满足高精度溯源背景的要求，无法直接应用于网路溯源。原因来自两方面：一方面，完全依赖流量矩阵技术估计自治域内流量信息。流量矩阵技术本身并不能获取全面的流量信息，这就导致采样清单存在误差。另一方面，用历史数据预测动态变化的网络，相当于使用存在误差数据预测网络流量变化结果，这种策略不仅不会降低估计误差，甚至存在加剧误差的可能。综上，现有的技术无法获取自治域内全部的流量样本，不适用网络溯源。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于流量矩阵的数据流协同采样方法，以最小的代价完成自治域范围内数据流的全采样，以提高网络溯源的精度。

为解决上述技术问题，本发明所采取的技术方案是：一种基于流量矩阵的数据流协同采样方法，包括以下步骤：

步骤1、以自治域为单位，将域内所有路由节点视为一个整体，确定各路由节点的流量目录；