[发明专利]一种海量数据提取的方法及装置

权利要求书

1.一种海量数据提取的方法，其特征在于，所述方法包括：

从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；

根据分区规则建立B-Tree索引；

根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；

将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应一个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；

在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B-Tree索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置PB和偏移结束位置PE，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置P_i，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键的起始位置P_C；

提取位置范围[P_C+P_i+PB，P_C+P_i+PE]内的数据。

2.如权利要求1所述的方法，其特征在于，所述列索引的计算公式如下：

yn=T×Σi=1n-1Li;]]>

其中，y_n为第n列索引，T为时间范围内总的时间点个数，Li为第i列的单个字段数据长度，n为大于或等于2的整数。

3.如权利要求1所述的方法，其特征在于，所述根据预设规则对所述原始数据进行分区包括：

根据时间范围对所述原始数据进行分区。

4.如权利要求1至3任一项所述的方法，其特征在于，在根据预设规则对所述原始数据进行分区之前，还包括：

对获取的所述原始数据进行填充处理，以使得填充处理后的数据与时间点对齐。

5.如权利要求1所述的方法，其特征在于，所述将所述数据分区中的数据块拆分成多个数据子块包括：

将数据分区中的数据块根据一个数据主键存储所有列所需的存储空间拆分成多个数据子块。

6.一种海量数据提取的装置，其特征在于，所述装置包括：

分区单元，用于从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；

第一索引单元，用于根据分区规则建立B-Tree索引；

第二索引单元，用于根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；

第一处理单元，用于将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应一个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；

第二处理单元，用于在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B-Tree索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置PB和偏移结束位置PE，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置P_i，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键的起始位置P_C；

数据提取单元，用于提取位置范围[P_C+P_i+PB，P_C+P_i+PE]内的数据。