[发明专利]一种基于HBase的列存储压缩方法

权利要求书

1.一种基于HBase的列存储压缩方法，其特征在于，包括以下步骤：

从HBase读取各列数据，对各列数据进行重新排序并存储于各区中；

统计随机块的统计量以计算各区之间的相似因子S，并判断列分布均匀或离散；

若分布均匀，则采用混级列压缩方式；若分布离散，则采用混级区压缩方式。

2.根据权利要求1所述的基于HBase的列存储压缩方法，其特征在于，所述相似因子S为判断区间相似度的定义量，通过两区的统计量T特征分量的绝对差值得到。

3.根据权利要求1或2所述的基于HBase的列存储压缩方法，其特征在于，在对各列数据进行重新排序时，各列信息均存储于各区由HFile组成的StoreFile中。

4.根据权利要求3所述的基于HBase的列存储压缩方法，其特征在于，首先将列拆为不同的表，对列值进行排序，对排序后的列生成新表的复合行健采用<columnID>_<rowID>_<Row-key>格式规则进行设计。

5.根据权利要求3所述的基于HBase的列存储压缩方法，其特征在于，混级列压缩方式的压缩算法采用游程编码，位向量编码，WAH编码，前缀编码，增量编码和改进的LZO。

6.根据权利要求1所述的基于HBase的列存储压缩方法，其特征在于，基于排序的列区混合压缩策略包括如下步骤：

Step1从HBase读入各列数据。

Step2对各列数据进行排序，并对各列数据按照指定格式进行存储。

Step3随机抽取列中10区统计特征统计量T_i＝{q₂,q₃,q₄,q₅,q₆,q₇}，i∈[1,10]。

Step4判断各列数据分布特性，根据数据分布特性将数据用混级区压缩策略(HybridSector-Based Compression)和混级列压缩策略(Hybrid Column-Based Compression)分别进行存储。

Step5各列数据根据分配的不同压缩策略进行压缩。

Step6将压缩数据存储到HDFS中。

7.根据权利要求6所述的基于HBase的列存储压缩方法，其特征在于，混级区压缩策略包括：

Step1令i＝1；

Step2统计T_i＝{q₁,q₂,q₃,q₄,q₅,q₆}；

Step3若i＝1，跳转Step4，否则跳转Step3；

Step4通过相似因子S计算与上一区块的相似度，若相似度高，m_i＝m_i-1，否则跳转统计T_i＝{q₁,q₂,q₃,q₄,q₅,q₆}，跳转Step5；

Step5对数据块使用基于XGBoost的策略选择方法；

Step6如块i不是最后一个块，i＝i+1，跳到Step3；

Step7返回压缩策略向量M_s。

8.根据权利要求6所述的基于HBase的列存储压缩方法，其特征在于，混级列压缩策略包括：

输入：待压缩列数据

输出：压缩策略m

Step1统计特征统计量T_c＝{q₁,q₂,q₅,q₆,q₇}；

Step2对基数q进行判断，如小于阈值，m＝WAH编码，跳转Step6，如大于阈值，跳转Step3；

Step3判断文本类型t，如是数值，m＝增量压缩编码，跳转Step6，如是文本，跳转Step4；

Step4判断数据倾斜，如数据有明显倾斜，m＝前缀编码，跳转Step6，如无明显倾斜，跳转Step5；

Step5根据使用频度l，将压缩算法分为改进的LZO和不压缩，若使用频度大m＝不压缩，跳转最后一步，若使用频度小，m＝改进的LZO，跳转Step6；

Step6返回压缩策略m。