[发明专利]一种基于HBase的列存储压缩方法

说明书

本发明公开了一种基于HBase的列存储压缩方法，包括从HBase读取各列数据，对各列数据进行重新排序并存储于各区中；统计随机块的统计量以计算各区之间的相似因子S，相似因子S为判断区间相似度的定义量，通过两区的统计量T特征分量的绝对差值得到，并判断列分布均匀或离散；若分布均匀，则采用混级列压缩方式；若分布离散，则采用混级区压缩方式。本发明提供的列存储压缩方法极大程度上减少了计算成本，同时提高了压缩效率。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于HBase的列存储压缩方法。

背景技术

数据压缩一直是数据领域的重点关注问题，现存众多压缩方法，轻量级压缩方式有游程编码，字典编码，空值抑制等，重量级压缩编码有GZIP，Lempel-Ziv系列，Huffman编码和算术编码等。轻量级和重量级压缩算法的不同在于轻量级算法是对连续的值进行操作，重量级算法是打破了值间的边界，将值当成一系列字节进行操作。常用的轻量级和重量级压缩算法的分类如图1所示。

关于列存储压缩算法策略的研究首先开始于在对C-store的有关研究中，J.Abadi等提出了一种基于决策树的列压缩模型,该压缩模型通过建立了一个压缩算法决策树来判定各列的最佳压缩算法,但是该方法压缩粒度过大，忽视了数据的局部分布特点与整列数据的差异性对压缩带来的影响。

王振玺等人提出了一种区级压缩策略，以区为单位将数据进行划分，以分区之间的相关性和差异性进行压缩算法的选择,此方法可以为不同区根据特点适用不同压缩算法，保证了压缩率，但是对于相似度差别大的分区过多会导致较大计算量。

Idreos等人提出了一种基于贝叶斯分类的压缩算法动态选择策略，通过贝叶斯公式计算后为不同的数据块选择不同的压缩算法，尽可能使待压缩数据达到最佳的压缩效果，但是该方法的准确性很大程度取决于训练样本，且没有建立一个评估层根据反馈结果评估压缩算法的好坏。

王海艳等人提出了一种基于冷热数据分类的压缩策略选择方法，首先依据数据文件访问频度将HBase数据划分为冷热数据，并改进了贝叶斯分类压缩方法，在前人基础上增加评估层，结合区级压缩策略的优势提出了一种新的压缩分类法，但其分类算法不支持并行处理，且在压缩粒度上并未有突破，区级计算的缺点仍然存在。

如今针对列存储数据库的特点进行压缩策略的选择的研究已经取得了很多成果，但压缩时对数据并未进行预处理，数据在各部分分布差异较大，离散程度高，不适于压缩。在压缩粒度的选择上多偏好小粒度压缩策略，而小粒度策略要统计各区的统计信息，计算成本高，影响压缩时间，且研究对压缩算法本身未有足够关注。在压缩策略分类算法的选择上，前人工作中常采用的分类算法有决策树和朴素贝叶斯，决策树可解释性好，但在面对现实复杂的非结构化数据和各种噪声数据时，很容易过拟合；朴素贝叶斯分类方法有坚实的数学基础，算法简单，易于实现，但其分类性能受先验知识影响大，分类性能往往不尽人意，导致策略的准确性和压缩效率无法保证，且现有应用的分类算法不支持并行处理，不能充分利用集群算力，使负载不均。

发明内容

因此，现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大，分类粒度小，配套分类算法缺陷导致的计算成本高，压缩效率难以保证的问题，本方法提出了一种基于排序的列区混合压缩策略。

本发明提供了一种基于HBase的列存储压缩方法，包括以下步骤：

从HBase读取各列数据，对各列数据进行重新排序并存储于各区中；

统计随机块的统计量以计算各区之间的相似因子S，并判断列分布均匀或离散；

若分布均匀，则采用混级列压缩方式；若分布离散，则采用混级区压缩方式。

可选地，所述相似因子S为判断区间相似度的定义量，通过两区的统计量T特征分量的绝对差值得到。