[发明专利]一种网络统计数据筛选的方法

说明书

本发明属于网络数据筛选技术领域，公开了一种网络统计数据筛选的方法,包括以下步骤：A.控制台向服务器发起查询数据请求；B.解析相关参数；C.解析过滤条件;D.存储读取数据;E.第一次过滤数据，读取存储查询数据中的键值部分；F.合并数据；G.第二次过滤数据，将合并后的非键值对数据记录依次传入过滤器中；F.数据发送给控制台。通过对数据指标进行过滤筛选，其筛选功能非常全面，最大限度提升的系统的筛选能力；极大的提高了筛选效率和数据获取的精准率。

技术领域

本发明属于网络数据筛选技术领域，尤其涉及一种网络统计数据筛选的方法。

背景技术

在网络数据统计分析领域，当我们通过网络分析系统将统计数据存储后，需要查询HTTP应用的统计数据，或者需要查询DNS的统计数据，或者需要查询数据包大于10000的统计数据。为了获取更精准的统计数据，一般的网络分析系统都需要支持统计数据的筛选查询。

传统的筛选查询方法，往往主要针对键值等指定的指标进行筛选，比如：IP地址，网段，应用等，没有办法很灵活的指定非键值的指标，比如：总数据包，比特率；而往往非键值的指标对网络统计分析非常重要，比如，当网络出现异常时，需要找出比特率大于100Mbps的IP地址，这时就需要用比特率进行筛选，虽然有些系统能够支持部分重要的非键值指标；但是，这还是存在支持的筛选指标比较有限，筛选方式不灵活，扩展性较差等比较关键的问题。

发明内容

本发明的目的在于克服现有技术中存在的上述问题，提供一种网络统计数据筛选的方法，通过支持对任意指标进行筛选的网络统计数据的分析方法。

为实现上述目的，本发明采用的技术方案如下。

一种网络统计数据筛选的方法，其特征在于：该方法包括以下步骤：

A. 控制台向服务器发起查询数据请求，并传入过滤条件；

B. 服务器接收到请求，解析相关参数，相关参数包括查询时间范围、链路ID、统计表ID和过滤条件；

C. 解析过滤条件，通过过滤器将复合的逻辑过滤条件分解成以每个字段为实体的逻辑关系链；

D. 存储读取数据，根据查询的时间范围、链路ID、统计表ID向存储查询数据;

E. 第一次过滤数据，读取存储查询数据中的键值部分，将读取到的数据分解成多条统计数据传入过滤器中，并只匹配键值数据，并将每个字段的匹配结果记录在过滤器中；如果整个过滤器不匹配，则丢弃该条统计数据；如果整个过滤器匹配，则进行下一步；

F. 合并数据，获取查询参数中的键值集合，并计算集合的哈希值，同时创建一条记录，存入对应哈希值的哈希表中，然后将具有相同哈希值的存储记录的非键值数据进行合并；

G. 第二次过滤数据，将合并后的非键值数据记录依次传入过滤器中，并只匹配非键值数据，并将每个字段的匹配结果记录到过滤器中；过滤器对每个字段过滤一个对应的结果；过滤器的逻辑关系和每个字段的结果计算整个过滤器的结果，如果匹配，则过滤成功；如果不匹配，则丢失该条记录；

F. 数据发送给控制台，将过滤到的结果通过网络发送给控制台。

步骤A中所述控制台包括控制台1、控制台2和控制台3。

步骤E中，键值数据包括统计数据在存储时，数据按照存储的键值进行组织，其中包括键值数据和非键值数据；查询时，可以根据其中的一个存储键值或者多个存储键值进行数据查询。

步骤F中，合并非键值数据为数据包合并统计时，就将要合并的两个值进行相加，客户端最大ACK时延合并时，就将要合并的两个值取最大值。

采用本发明的优点在于：