[发明专利]一种网络管理数据无损压缩存储与检索的方法与系统

权利要求书

1.一种网络管理数据无损压缩存储与检索方法，其特征在于，所述方法包括：一条数据记录由一个或多个属性构成；对于重复的数据记录预先进行分组压缩存储，不再额外存储取值重复的数据记录；按照构成数据记录的记录的属性的数据类型、取值范围的不同，各自独立的进行存储与压缩；根据预制的查询条件，在压缩的同时进行统计、构建索引；从压缩后的数据还原出原始数据；

对于连续取值的属性，对于不同类型属性值采用不同方法进行压缩存储；对于离散取值的属性，记录出现离散量的记录号集合；对于记录号集合，按记录号的升序进行存储，存储变长压缩后的数据；

读取连续型属性值压缩存储表，根据不同类型属性值还原出属性的原始值；还原离散型参数压缩表中记录号集合，读取离散型属性值压缩存储表，根据属性值和对应的记录号集合还原离散型属性原始值；还原分组去重数据压缩表中记录号集合，读取存储区域中分组去重数据压缩表，根据记录编号还原记录分组去重模块压缩的信息。

2.一种网络管理数据无损压缩存储与检索系统，其特征在于：所述系统由网管数据分组去重模块、网管数据属性压缩存储模块、网管数据检索模块以及网管压缩数据还原模块四个部分组成；所述网管数据分组去重模块是对于给定的连续记录的网管数据记录，根据网管检索需要，按照某个属性的一定取值范围进行分组存储，对于分组内的数据，根据网管的数据特征，去掉其中变化频繁的参数后，对记录进行去重，识别出的重复记录存储在单独的存储区域内；所述网管压缩数据检索模块根据预先定义的条件，对网管数据进行统计、索引，生成网管数据索引表，以备外部模块检索，外部模块对建立过索引的数据进行查询，系统不对压缩过的网管数据进行解压而直接返回索引中的数据；所述网管压缩数据还原模块读取压缩后的数据，将其还原到关系型数据库中，能够使用现有的网管工具对数据进行进一步分析；所述网管数据属性压缩存储模块，根据网管数据的属性值类型、取值范围和实际的数据分布，选择合适的数据压缩算法进行压缩，属性值按照连续型和离散型进行分类。

3.根据权利要求2所述的系统，其特征在于：系统管理的属性数据类型包括对数值连续取值的连续型属性和数值离散取值的离散型属性。

4.根据权利要求3所述的系统，其特征在于：系统提供接口，由使用者指定属性的压缩方法。

5.根据权利要求3所述的系统，其特征在于：系统存储的属性每一列单独存储。

6.根据权利要求4所述的系统，对于高频出现的属性值，采用压缩方法对属性值的二进制编码进行再编码后，由网管数据属性压缩存储模块进行压缩。