[发明专利]一种基于天盾数据库列存储的索引及查询方法及系统

权利要求书

1.一种基于天盾数据库列存储的索引及查询方法，其特征在于，所述方法包括如下步骤：

步骤1，建立云端数据文件到本地的传输链路，从云端数据库接收数据文件，需要经过前置数据库对接收到的数据进行预处理，在前置数据库中设置容纳固定量的表段，在前置数据库中逐行缓存要存储在本地数据库的第一数据，确定第一数据序列，前置数据库根据所述第一数据序列对接收到的第一数据文件的数据块进行排序，其中，所述第一数据文件由多个数据块组成；

步骤2，将第一数据文件作为标准数据，对大于第一数据文件的数据文件由本地数据库进行直接存储；

步骤3，当前置数据库对第一数据文件接收完成后，接收第二数据文件，若判断所述第二数据文件的数据量小于第一数据文件后，则在前置数据库中按照第一数据序列对第二数据文件进行排序；

步骤4，本地数据库将第一数据文件的列值和数据块的记录标识作为值数据存储到数据块中并按列值大小排序，当判断所要接收的数据文件小于第一数据文件后，将记录标识和存储值数据的数据块的序列号作为连接数据存储到新的数据块中，并按记录标识的大小排序；

步骤5，对前置数据库中的数据块和本地数据库中的数据块建立索引，生成索引数据块，在进行查询时根据生成的索引数据块对数据进行查询。

2.如权利要求1所述的一种基于天盾数据库列存储的索引及查询方法，其特征在于，在前置数据库中采用行存储，在本地数据库中采用列存储方式。

3.如权利要求2所述的一种基于天盾数据库列存储的索引及查询方法，其特征在于，前置数据库通过索引机制和表分区简化查询操作步骤，并将查询结果的索引值作为前置存储的索引数据块发送至本地数据库存储。

4.如权利要求1所述的一种基于天盾数据库列存储的索引及查询方法，其特征在于，在进行数据查询时，查询指令同时执行于前置数据库及本地数据库。

5.如权利要求1所述的一种基于天盾数据库列存储的索引及查询方法，其特征在于，在进行数据查询时，先在本地数据库中进行检索，本地数据库根据前置存储的索引数据块对前置数据库进行查询。

6.如权利要求1所述的一种基于天盾数据库列存储的索引及查询方法，其特征在于，通过增量压缩、前缀压缩算法对本地存储数据进行压缩，以减小本地存储数据所占空间。

7.一种基于天盾数据库列存储的索引及查询系统，其特征在于，所述系统包括：前置数据库及本地数据库，建立云端数据文件到本地的传输链路，从云端数据库接收数据文件，需要经过前置数据库对接收到的数据进行预处理，在前置数据库中设置容纳固定量的表段，在前置数据库中逐行缓存要存储在本地数据库的第一数据，确定第一数据序列，前置数据库根据所述第一数据序列对接收到的第一数据文件的数据块进行排序，其中，所述第一数据文件由多个数据块组成；将第一数据文件作为标准数据，对大于第一数据文件的数据文件由本地数据库进行直接存储；当前置数据库对第一数据文件接收完成后，接收第二数据文件，若判断所述第二数据文件的数据量小于第一数据文件后，则在前置数据库中按照第一数据序列对第二数据文件进行排序；本地数据库将第一数据文件的列值和数据块的记录标识作为值数据存储到数据块中并按列值大小排序，当判断所要接收的数据文件小于第一数据文件后，将记录标识和存储值数据的数据块的序列号作为连接数据存储到新的数据块中，并按记录标识的大小排序；对前置数据库中的数据块和本地数据库中的数据块建立索引，生成索引数据块，在进行查询时根据生成的索引数据块对数据进行查询。

8.如权利要求7所述的一种基于天盾数据库列存储的索引及查询系统，其特征在于，在前置数据库中采用行存储，在本地数据库中采用列存储方式，前置数据库通过索引机制和表分区简化查询操作步骤，并将查询结果的索引值作为前置存储的索引数据块发送至本地数据库存储。

9.如权利要求7所述的一种基于天盾数据库列存储的索引及查询系统，其特征在于，通过增量压缩、前缀压缩算法对本地存储数据进行压缩，以减小本地存储数据所占空间。