[发明专利]一种基于话单数据的压缩和存储方法

摘要

发明涉及一种基于话单数据的压缩和存储方法，由列存储系统实现，列存储系统包括压缩模块、存储模块和处理模块，本发明方法采用多种轻量级压缩算法从语法和语义分别对数据进行压缩，将数据存储于特定的列存数据库。并支持多种数据处理语言对压缩态下的数据进行查询筛选等操作。本发明针对运营商实际存在的问题提出了一种有效的解决方案，并且适用于各大运营商处理其大量的话单数据，大大减少了数据存储所需的空间，在数据存储上引入了列存数据库，由于其自身存储的特殊性，与各种轻量级压缩算法可以完美的结合起来，由于采用轻量级压缩算法，可以对压缩态的数据直接进行SQL操作，大大提高了数据的处理速度。

主权项

一种基于话单数据的压缩和存储方法，由列存储系统实现，列存储系统包括压缩模块、存储模块和处理模块，其压缩和存储方法如下：步骤一、压缩模块对话单数据需要压缩的属性列采取不同的轻量级压缩算法；步骤二、由存储模块将经过压缩模块处理后的话单数据存入列存数据库，列存数据库的数据结构包括压缩区和未压缩区，压缩区将采用不同轻量级压缩算法压缩后的属性列分开存储，未压缩区则将不需要压缩的属性列直接存储；步骤三、处理模块对列存数据库的数据进行SQL操作，对未压缩区的数据直接进行SQL操作；对压缩区的数据进行SQL操作时，可以解压后直接进行SQL操作，也可以不解压间接进行SQL操作；当不进行解压时，其SQL的间接操作方法如下：（1）通过操作算法选择器对压缩区不同属性列采用的压缩算法进行分析，（2）通过转换器将SQL语句转换成相应的可以用于该压缩算法的语句。