[发明专利]一种索引数据压缩以及索引数据搜索的方法和设备

说明书

本申请公开了一种索引数据压缩以及索引数据搜索的方法和设备，包括：在得到索引信息列表之后，按照索引信息列表中列索引数据的排列顺序，依次比较相邻两行中同一列的列索引数据是否相同；当相邻两行中同一列的列索引数据相同时，对相同的列索引数据进行压缩；当相邻两行中同一列的列索引数据不相同时，记录相邻两行中比较结果不相同的同一列的列索引数据以及对应的位置信息，并压缩相邻两行中比较结果不相同的同一列之后的其他列的列索引数据；在对索引信息列表中每一行对应的列索引数据压缩处理执行完毕后，根据压缩处理后得到的列索引数据，生成针对索引信息列表的索引数组，索引数组存储容量减小，且数据量较小保证了列索引数据的查找效率。

技术领域

本申请涉及数据信息处理领域，尤其涉及一种索引数据压缩以及索引数据搜索的方法和设备。

背景技术

随着互联网技术和计算机技术的不断发展，一个数据文件中包含的信息量越来越大，导致存储在数据库中占用的存储容量也随之增加。

为了方便对一个数据文件中数据信息的查找，每一个数据文件中存放的数据将按照一种设定的存放顺序存储。此外，当数据文件中的数据量达到1TB时，通常将数据文件中的数据划分成大小相同的数据块，并为划分得到的每一个数据块确定一个主键索引（例如，每一个数据块的最后一行数据信息作为该数据块的索引信息），最后将确定的每一个数据块的主键索引组合得到针对该数据文件的索引信息表。

在对该数据文件的数据信息进行查找时，首先，通过该索引信息表查找到该数据文件的数据块；其次，按照二分查找的方式找到该数据块中的指定行；最后，在该指定行中找到需要的数据信息。

但是，索引信息列表的容量大小是由数据文件中的数据量和每一个数据块的数据量决定的。当数据文件中的数据量比较大，每一个数据块的数据量比较小时，导致生成的索引信息列表的容量也比较大；当数据文件中的数据量比较大，每一个数据块的数据量比较小时，导致生成的索引信息列表的容量比较小，但是利用索引信息列表查找数据信息的速率将降低。

例如：一个数据文件中包含了1TB的数据量，假设划分的每一个数据块的大小为1GB，这样将得到103个数据块，即生成的索引信息列表中包含了103个主键索引，其中，每一个主键索引中包含了多个列数据信息。

在查找数据信息时，首先，需要在103个主键索引中确定需要的主键索引；其次，根据确定的主键索引，找到对应的数据块；最后在1GB的数据块中查找到需要的数据信息。

然而，由于索引信息列表的数据量比较小，搜索服务器的内存能够满足其需求，但是确定的数据块的容量比较大，使得最后查找数据信息的效率低且精度也不高。

假设划分的每一个数据块的大小为1MB，这样将得到106个数据块，即生成的索引信息列表中包含了106个主键索引，其中，每一个主键索引中包含了多个列数据信息。

在查找数据信息时，首先，需要在106个主键索引中确定需要的主键索引；其次，根据确定的主键索引，找到对应的数据块；最后在1MB的数据块中查找到需要的数据信息。

由于索引信息列表的数据量比较大，确定的数据块的容量比较小，使得最后查找数据信息的精度提高，但是查找到数据信息的效率不高，并且搜索服务器的内存也无法满足其需求。

发明内容

本申请提供了一种索引数据压缩以及索引数据搜索的方法和设备，用于解决如何在保证查找数据信息效率与精度的前提下降低索引信息列表的数据容量的问题。

一种索引数据压缩的方法，包括：