[发明专利]一种基于字典的位片索引压缩方法

权利要求书

1.一种基于字典的位片索引压缩方法，其特征在于，所述方法包括：

步骤1，以块大小为间隔根据索引列中比特1的列密度重排文档；

假设索引列数为d，块大小为k个比特；

步骤1.1，统计索引每列中比特1的密度，将列按密度降序排列；

步骤1.2，初始化一个空索引，将比特1的密度最高的列放入索引第列；将1密度次高的列放入索引第列，以此类推，最后将比特1密度最低的列放入列；

步骤2，根据查询数据集特征自定义阈值选定一部分查询访问低频行进行压缩；

步骤2.1，自定义在查询过程中高频访问行访问频率的阈值；

步骤2.2，根据部分查询数据集和自定义阈值对行进行如下分类：高频访问行，低频访问行；

步骤2.3，建立行压缩标志位文件，判断每一行是否为低频访问行，也就是需要压缩行；

步骤3，对步骤2选定的压缩行进行字典压缩；

步骤3.1，将重排后BitFunnel位片索引以行为单位划分成块，建立字典保存一个全1块和高频出现在步骤2中选定的压缩行的块，记录高频块和块编号的映射关系；

步骤3.2，遍历索引，对出现在字典中的块，用更少比特的块编号替代；对未出现在字典中的块，用字典中最近似块的编号替代，这样虽然会导致查询请求存在误称但保证不丢解。

2.根据权利要求1所述的方法，其特征在于，该方法应用领域包括：

Bitmap、Bloom Filter和基于Bloom Filter的以BitFunnel为代表的位片索引结构。

3.根据权利要求1所述的方法，其特征在于，步骤2.1所述自定义在查询过程中高频访问行访问频率的阈值：

根据BitFunnel索引块重复度和BitFunnel索引原始误称率自定义查询过程中高频、低频行的行访问频率的阈值设置。

4.根据权利要求1所述的方法，其特征在于，压缩后恢复原始数据对应的解压方法，具体是：

在解压过程中，简单地将块编号作为索引从字典中提取出原始块定义恢复原始数据。