[发明专利]一种海量数据提取的方法及装置

摘要

本发明适用于大数据处理技术领域，提供了一种海量数据提取的方法及装置，该方法包括：在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B-Tree索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置PB和偏移结束位置PE，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置P_i，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键的起始位置P_C；提取位置范围[P_C+P_i+PB，P_C+P_i+PE]内的数据。通过本发明可有效减少索引大小，提高索引定位效率和数据提取效率。

主权项

一种海量数据提取的方法，其特征在于，所述方法包括：从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；根据分区规则建立B‑Tree索引；根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应一个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B‑Tree索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置PB和偏移结束位置PE，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置P_i，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键的起始位置P_C；提取位置范围[P_C+P_i+PB，P_C+P_i+PE]内的数据。