[发明专利]一种基于元数据的数据采集方法

说明书

本发明公开了一种基于元数据的数据采集方法，使用一台设备替代分布式采集系统进行多点采集网络流量从而跟踪对比端到端的网络性能。在TCP/IP协议分析中增加了区分来自不同端口流量的能力,从而用一台高性能的智能分析采集器替代多台低速采集设备。本发明首先通过给每个物理端口的流量打入不同的二层标签，然后在逐层分析中使用这个标签用以区分来自于不同端口的流量。分析的结果以元数据的形式存入大数据分析平台，在大数据分析技术解决同一条流在数据传送中被修改后还能对比识别的难题。本发明公开的基于元数据的单点采集和大数据分析方法解决了网络性能分析中同一条TCP/UDP逻辑流被分成若干个物理TCP流后难以跟踪对比的难题。

技术领域

本发明属于信息技术领域，涉及一种网络上基于元数据的数据多点采集、单点分析的方法。

背景技术

从客户端发出一个网络请求到被数据库服务器接收，网络上的报文要历经千辛万苦才能从原点到达目的地。就以报文已经通过因特网到达数据中心为例，在数据中心里要经过边缘交换机，防火墙、入侵检测、核心交换机、路由器、负载平衡、网页应用防火墙、网页服务器、应用服务器、数据库安全检测，最后达到数据库服务器。任何一个环节出了问题，都会导致网络的传输性能受到影响，甚至网络不通。如何能实现端到端(end-to-end)的网络性能监测并及时发现任何一个环节出现的问题是一个梦寐以求的目标，这也是网络性能监测(Network Performance Monitoring)领域里一个没有解决好的问题。

网络性能监测可以用探针技术来解决。例如在手机上布探针，就能知道每一个从手机上发出的TCP连接的延迟。但探针只能在有限的情况下部署。例如：刷卡机、智能穿戴设备由于硬件条件所限，一般不支持布探针；网络安全设备、金融用的服务器一般也不容许第三方布探针。所以单靠软件探针布点是无法解决端到端的网络性能监测问题，更不用说在没有探针地方要监测网络性能了。

在数据中心里，通过光分流器或者交换机(路由器)的SPAN端口(镜像端口)把流量引出，再基于TCP/IP协议栈的分析也可以了解数据中心的网络性能。这种旁路分析不影响现有的网络和服务器，可以在数据中心里进行性能监测。Application-aware NPM(AA-NPM)⁰就是这样一种性能监测的思路，该方法正受到越来越多的关注。AA-NPM方法通过核心交换机SPAN端口把流量导出给能进行协议分析的iTAP(intelligent TAP)。iTAP在完成协议分析后，把有关协议的交易层信息以元数据(metadata)的形式输出给iMAP.这里iMAP(intelligent Metadata Analytic Platform)是一个大数据分析平台，支持对元数据描述的流量性能信息进行对比、关联、和分析，从而得出端到端的性能分析结果。由于是在网络上布点采集流量，布点的位置可以在数据中心里的任何位置。但是原有的方案需要多个iTAP设备。例如：防火墙前后、负载平衡前后、服务器前后等地方使用iTAP导出流量。这样就要为多个iTAP设备单独组建一个网络，例如：用一台交换机把多台iTAP的分析结果汇集、然后送入iMAP大数据分析平台。本发明用一台高性能的iTAP替代多台低速的iTAP，用于减少网络设备占有的空间和连线组网的复杂性，同时也便于iTAP的管理。

发明内容

本发明所要解决的技术难点是：多点采集网络流量时用一台高性能iTAP的多个物理端口来集中采集流量，然后在大数据分析平台上进行TCP流对比分析的问题。多台变一台后，在TCP流对比分析过程中需要解决以下两大新问题：

1)区分属于不同的监测点貌似一样的TCP流；

2)对比同一条TCP逻辑流被其它的网络设备分成若干个物理TCP流。

为解决上述技术问题本发明所采用的技术方案是：

1)对每一物理端口来的流量打上IEEE 802.1ad⁰的VLAN ID(VID)用于区分不同端口的流量，从而标记不同的采集点。