[发明专利]对数据进行压缩的方法和装置

说明书

技术领域

本发明涉及一种数据库领域，特别是指一种对数据进行压缩方法和的装置。

背景技术

随着长时间的累积，一些关键的业务系统，积累了大量的历史交易数据。这些历史数据使得系统变得越来越庞大，并且在维护上也越来越复杂。数据量的快速增长已经成为了所有的IT管理部门所面对的最难于解决的问题之一，因为数据量的增长已经严重降低了应用程序的性能，降低了应用程序的稳定性，并且消耗了大量的投资。对于日益增长的数据，数据压缩是不得不采取的措施。

在数据库中，通过对表进行压缩操作，再进行存储，能够降低存储成本,减少各种类型数据对磁盘空间的需求。传统的压缩技术多采用如gzip等，原始表的数据压缩比一般是3:1或者5:1。以数据库中某一大表TABLE_A为例，压缩前数据为280GB，经过传统压缩技术压缩后为128GB。

另外，传统的数据压缩存储方式，在数据访问时，必须首先把压缩数据解压后抽取出来。

原始表的数据压缩比一般是3:1或者5:1压缩，把此压缩数据抽取出来，如果解压存放或者传输，那么无疑会加大网络和存储的负担。而且，传统的数据压缩存储方式，在进行数据访问和操作时，其访问速度会降低，同时，需要消耗更多的CPU资源。

现有的数据压缩存储技术存在如下缺陷：

1、数据的压缩比不理想，一般只有3:1～5：1左右；

2、对压缩过的数据进行访问时，首先需要解压缩抽取数据，数据操作完成后，再进行重新压缩，整个过程比较复杂，无法快速访问其中的数据行。

3、数据解压缩、抽取、执行操作，重新压缩，需要消耗更多的CPU、内存。

以oracle中传统的压缩方式为例，Table经过了压缩之后，虽然存储体积得到了减小，但如果要对其数据进行操作，那么首先需要将其数据行从压缩块中解压缩出来，进行相应的DML（数据操纵语言），操作完成后，再重新压缩进入压缩块之中。如果DML频繁，将带来不可估量的CPU消耗。

发明内容

本发明提供一种对数据进行压缩的方法和装置，能够提高单元格内容相同程度高的数据库的压缩比。

一方面，提供一种对数据进行压缩的方法，包括：

获取待压缩数据库；

在所述待压缩数据库的各列数据中，查找内容相同的单元格；

根据所述单元格的内容、所述单元格的行号以及所述单元格的列号，生成压缩包数据，所述压缩包数据记录有：内容相同的同列单元格的行号与单元格内容之间的对应关系以及同列单元格的列号。

所述在所述待压缩数据库的各列数据中，查找内容相同的单元格的步骤之前，所述方法还包括：

选择一列数据；

以选择的所述一列数据的单元格内容为排序依据，对所述数据库进行排序。

所述的方法，还包括：

对压缩后的数据进行再次压缩。

所述压缩包数据包括：内容相同的同列单元格的各个行号、单元格内容、以及同列单元格的列号；或者；

当内容相同的同列单元格相邻时，所述压缩包数据包括：内容相同的同列单元格的起始行号和终止序号、单元格内容以及同列单元格的列号；或者

当内容相同的同列单元格相邻时，所述压缩包数据包括：内容相同的同列单元格的起始行号、相邻的内容相同的同列单元格的数量、单元格内容、以及同列单元格的列号。

所述的方法，还包括：

当在所述待压缩数据库搜索数据时，在所述压缩包数据中搜索。

另一方面，提供一种对数据进行压缩的装置，包括：

获取单元，获取待压缩数据库；

查找单元，在所述待压缩数据库的各列数据中，查找内容相同的单元格；

第一压缩单元，根据所述单元格的内容、所述单元格的行号以及所述单元格的列号，生成压缩包数据，所述压缩包数据记录有：内容相同的同列单元格的行号与单元格内容之间的对应关系以及同列单元格的列号。

所述的装置，还包括：

选择单元，选择一列数据；

排序单元，以选择的所述一列数据的单元格内容为排序依据，对所述数据库进行排序。

所述的装置，还包括：

第二压缩单元，对压缩后的数据进行再次压缩。

所述压缩包数据包括：内容相同的同列单元格的各个行号、单元格内容、以及同列单元格的列号；或者；

当内容相同的同列单元格相邻时，所述压缩包数据包括：内容相同的同列单元格的起始行号和终止序号、单元格内容以及同列单元格的列号；或者