[发明专利]一种基于效果优选的组合数据压缩方法

说明书

技术领域

本发明涉及计算机算法技术领域，尤其涉及一种基于效果优选的组合数据压缩方法。

背景技术

目前，程序算法原理存在差异性，不同的压缩算法对同一类型数据的压缩效果并不相同，同理，相同的压缩算法对于不同类型数据的压缩效果也不相同。由于具体数据特征的不可预知，导致任何单一数据压缩算法都无法达到最优压缩效果。针对不同数据类型的压缩，如何才能达到理想的压缩效果，是目前人们一直研究和探讨的热点问题。

我们实验统计的数据表明，基于特征值的组合压缩算法会使得15％左右的数据选择的压缩算法不能达到最优压缩效果，其压缩效果大约在最优压缩效果的40％～80％之间。因此，就总体数据而言，基于特征值的组合压缩算法存在15％*(1-60％)＝6％的优化空间。

在压缩和解压的次数差别不大的场景下，上述的6％的优化空间的优化价值并不大，而在解压次数远大于压缩次数的场景中，如分析型数据库，牺牲一定的压缩性能，从而提高上述6％的压缩效果，能够在多次解压过程中，极大的提高整体的解压读取性能。

本发明针对基于特征值的组合压缩算法存在的优化空间，提出了基于效果优选的组合压缩算法，本算法通过对实际压缩结果的对比，从备选压缩算法选择最优压缩算法，能最大限度的提高数据的实际压缩效果。

发明内容

本发明所要解决的技术问题是如何解决目前基于特征值的压缩算法存在部分数据无法达到压缩最优化的关键问题。

为此目的，本发明提出了一种基于效果优选的组合数据压缩方法，包括以下具体步骤：

S1：根据待压缩数据类型、主要特征和/或时间限制因素选取多种压缩算法，构成压缩算法集，以及

获取所述多种压缩算法对应的解压算法的平均解压速度D_i；

S2：分析所述待压缩数据需求，将其分成多个数据块，以及

获取所述计算机系统的公共参数；

S3：计算所述每个数据块使用所述多种压缩算法的压缩效果值；

S4：比较所述多种压缩算法的所述压缩效果值，选取压缩效果值最小的算法作为最优算法；

S5：根据所述每个数据块对应的所述最优算法进行数据压缩计算。

进一步地，所述步骤S3还包括：

S31：对于所述多个数据块，预设数据大小为C₀；

S32：遍历所述压缩算法集其中的所述多种压缩算法对所述每个数据块进行压缩计算，并统计压缩结果的大小CR_i。

进一步地，所述步骤S3还包括：

S31’：计算得到所述多种压缩算法对于所述每个数据块的压缩结果的总读取时间T_i；

S32’:计算所述每个数据块中的数据不进行压缩时的读取总时间T₀以及压缩效果值。

具体地，通过公式：

T_i＝(CR_i/D_i)+(CR_i/V)

计算得到所述多种压缩算法对于所述每个数据块的压缩结果的总读取时间T_i，其中，所述压缩结果的大小CR_i，所述多种压缩算法中的每种算法的平均解压速率为D_i，平均I/O的读取速度为V。

具体地，通过公式：

T₀＝C₀/V

计算得到所述多种压缩算法对于所述每个数据块中的数据不进行压缩时的读取总时间T₀。

具体地，通过公式：

CEV₀＝(T₀/T₀)+C₀*DSR＝1+C₀*DSR

计算得到所述多种压缩算法对于所述每个数据块中的数据不进行压缩时的压缩效果值，其中，所述预设数据大小为C₀，磁盘敏感系数为DSR。

进一步地，所述步骤S3还包括：

通过公式：

CEV_i＝(T_i/T₀)+CR_i*DSR