[发明专利]一种海量数据提取的方法及装置

说明书

技术领域

本发明属于大数据处理技术领域，尤其涉及一种海量数据提取的方法及装置。

背景技术

随着大数据时代的来临，对海量数据的处理(包括数据的存储、提取等)的需求越来越大。目前主要采用关系型数据库来存储海量数据。然而，数据存储在关系型数据库中，使用B-Tree和聚簇索引的方式，索引比较大(1.6G的数据，索引超过200M)，查询数据时，加载索引数据比较多，另外获取一条数据需要从磁盘提取整行数据，磁盘I/O比较耗时。当提取的数据涉及到多个表时，提取效率更低，性能更差。

发明内容

本发明实施例提供一种海量数据提取的方法及装置，以减少索引大小，提高索引定位效率和数据提取效率。

本发明实施例的第一方面，提供一种海量数据提取的方法，所述方法包括：

从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；

根据分区规则建立B-Tree索引；

根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；

将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应一个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；

在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B-Tree索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置PB和偏移结束位置PE，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置P_i，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键数据的起始位置P_C；

提取位置范围[P_C+P_i+PB，P_C+P_i+PE]内的数据。

本发明实施例的第二方面，一种海量数据提取的装置，所述装置包括：

分区单元，用于从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；

第一索引单元，用于根据分区规则建立B-Tree索引；

第二索引单元，用于根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；

第一处理单元，用于将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应一个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；

第二处理单元，用于在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B-Tree索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置PB和偏移结束位置PE，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置P_i，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键数据的起始位置P_C；

数据提取单元，用于提取位置范围[P_C+P_i+PB，P_C+P_i+PE]内的数据。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例根据时间范围对数据进行分区，并根据所述数据分区建立B-Tree索引(根据时间范围建立的索引)以及列索引，使得数据分区中的时间范围索引和列索引共用，有效减少索引的大小。而且，在数据查询时，可以根据时间范围索引、列索引以及列偏移定位数据，提高索引定位效率和数据提取效率。另外，数据按列存储，使得在提取数据时，单列数据不需要提取整行数据，有效减少冗余数据的提取，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的海量数据提取方法的实现流程图；

图2是本发明实施例二提供的海量数据提取装置的架构示例；

图3是本发明实施例三提供的海量数据提取装置的组成结构图。

具体实施方式