[发明专利]一种网络管理数据无损压缩存储与检索的方法与系统

说明书

技术领域

本发明提供了一种对关系型数据库数据进行压缩存储与检索的方法与系统，尤其是适用于内含大量相似数据记录的海量网络管理数据。

背景技术

随着信息技术的发展，通信网络的建设正朝着多业务、多功能、高速的方向发展，规模越来越庞大，结构越来越复杂，需要依靠网络管理系统保证网络稳定、有效、安全地提供高质量的服务。网络管理系统需要采集、存储和处理大量的SNMP、Syslog日志、ICMP探测、流量等网络管理数据。这些数据一般按照分钟或更小的时间粒度进行请求和采集，但是为了实现网管系统高速数据检索，满足存储容量受限的需要，往往会对一段时间前的采集数据进行有损的合并存储，这样无法对网络管理中故障定位分析等提供较长时间内细粒度的监控数据。

每一天每个路由器或交换机等网络设备的监控采集信息有数百兆字节，核心网管服务器需要存储上百个不同地址、不同时间采集的网络设备监控信息，进行分析和处理，存储的数据量巨大。

为了便于组织和处理，网络管理数据一般采用关系型数据库存储。关系型数据库存储容量增加的同时会大大降低数据库查询和处理的效率，因此网络管理数据的海量增长给关系型数据库开来挑战。

数据压缩是指在不丢失信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率的一种技术方法。或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间。数据压缩包括有损压缩和无损压缩。从压缩对象来看，压缩方法分为通用数据压缩和多媒体数据压缩。通用数据压缩方法包括基于统计模型的压缩方法和基于字典模型的压缩方法；增量压缩是利用两个文件之间的内容差异来进行编码压缩；把数据压缩应用到数据库的存储中，在访问时经常要为数据压缩耗费很大的时间开销。

关系型数据库是为通用用途设计的，并没有为网络管理系统进行优化，采用关系型数据库存储网管数据，空间利用率不足。现有压缩方法没有充分利用网络管理数据的固有特点。网络管理数据是一类特殊的数据集，不同的数据记录之间存在大量相同之处，这些相同记录是的各个数据记录之间存在大量的数据冗余。数据压缩可以提高海量网络管理数据的存储效率，提高数据库的性能。

发明内容

现有的网络管理系统，绝大部分均将管理数据存储在关系型数据库中。传统关系型数据库存储采用页表结构，对数据库页表可以采用的通用的zip等压缩机制，但是提供的压缩比有限。因为网管系统需要存储处理的数据量非常大，导致其只能记录近几天的细粒度网管数据，对于更早的数据只能记录更粗时间粒度统计采样后的值，这使得对于历史故障现象的回溯几乎不可能。

本发明提供了一种对网络管理数据进行压缩与检索的方法与系统，通过实施本发明所属的方法与系统，可以有效的对网络管理数据进行压缩存储，以备日后分析使用。

本发明揭示了一种可以网络管理数据进行压缩、检索、长期保存的方法与系统。

有益效果

（1）长期存储：本发明描述了一种针对数据性质自适应的压缩的长期保存机制，便于运营、维护、管理人员回溯分析数据。

（2）检索分析：本发明在所述的数据长期保存的结构基础上，提供了检索分析接口，对预定义的指标进行统计。

（3）数据还原：从长期保存的数据向网管系统还原数据，使用现有网管系统的分析工具，对数据进行分析。

实施本发明的要点在于：

对于要压缩的数据，预先进行分组；对于重复的数据预先进行分组压缩存储，不再额外存储重复的数据记录；对于连续量，记录取值区间变化的增量而非全量以达到降低存储空间要求的目的；对于离散量，采用分组存储进行压缩；对于记录号集合，采用VLB变长压缩后的数据集合进行存储；根据预制的查询条件，在压缩的同时进行统计、构建索引；

其特征在于，对于网管数据中的多个属性，可以存放于一个压缩表中，也可以各自独立存放于多个压缩表中；凡是采用了前述一条或多条技术方案的有关网络管理数据的压缩方法与系统，均在本发明的保护范围之内。

附图说明

图1是本发明系统架构图；

图2是系统压缩原理；

图3是系统压缩存储流程；

图4是系统压缩还原流程。

具体实施方式

本发明包括网管数据分组去重模块、网管数据属性压缩存储模块、网管数据检索模块以及网管压缩数据还原模块四个部分组成，如图1所示。详述如下：

1、网管数据分组去重模块