[发明专利]基于Hadoop的索引创建方法及其索引方法

说明书

技术领域

本发明涉及云计算领域，特别涉及一种基于Hadoop的索引创建方法及其索引方法。

背景技术

Hadoop分布式平台通过Map-Reduce计算框架提供各种服务，使得用户在搭建了廉价的Hadoop集群后便可应用Map及Reduce计算过程完成海量数据的处理和分析任务，因此，凭借其开源、易用的特点，Hadoop分布式平台成为管理和处理海量数据的首选方案。

但是，在现有技术中，由于Hadoop内部无索引机制，导致Hadoop在处理结构化海量数据的查询时，每个Map Task均需要依次扫描分片输入的所有数据，然后再根据查询范围过滤掉无用数据，所述输入分片由MapReduce框架将原始数据分片生成。

根据以上描述可见，现有技术的数据读取方式是先读取后过滤,其极大地浪费了Hadoop的性能，特别是在处理海量数据的范围查询时，大量Hadoop性能都浪费在了无用数据的读取上。

发明内容

针对现有技术的不足，本发明提供一种基于Hadoop的索引创建方法及其索引方法，以防止Hadoop在处理查询时扫描无用数据。

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种基于Hadoop的索引创建方法，包括以下步骤：

将输入分片按行读取，分别形成第一键值对，并将读取的所述字符串按行生成第一输入表格；

获取所述第一输入表格的格式信息，根据所述第一键值对，将所述第一输入表格的各行字符串进行重组，生成第二输入表格；

提取所述第二输入表格的索引属性值；

计算所述各第二键值对的分片号，根据所述各第二键值对的分片号，对所述各第二键值对进行分组；

将每组内所述各第二键值对对应的表格记录按照其索引属性值进行排序，并根据生成的所述各中间键值对，提取所述每组表格记录的索引取值范围，创建基于文件的索引。

其中，基于所述将每组内所述各第二键值对对应的表格记录按照其索引属性值进行排序，所述方法进一步包括：

将所述排序后的表格记录按行读取，分别形成第三键值对，并将读取的所述字符串按行生成第三输入表格；

获取所述第三输入表格的格式信息，根据所述第三键值对，将所述第三输入表格的各行字符串进行重组，生成第四输入表格；

读取所述第四输入表格的索引属性值，并提取其索引取值范围，创建基于数据的索引。

其中，在读取所述第四输入表格的索引属性值后，进一步包括：

将所述索引属性值与其对应表格记录的行偏移量保存在一起，形成CSS树的叶子节点；

将所述各叶子节点构建一棵CSS树，创建基于记录的索引。

本发明还提供一种基于Hadoop的索引方法，包括以下步骤：

将待查询文件的查询范围与所述基于文件的索引属性值范围求交，当其相交结果为空，则将该待查询文件抛弃，否则，将该待查询文件保存，形成待处理文件队列。

其中，所述方法进一步包括：将所述待处理文件队列的查询范围与所述基于数据块的索引属性值范围求交，当相交结果为空，则将该待处理文件队列抛弃，否则，将该处理文件队列保存，形成待处理数据块队列。

其中，所述方法进一步包括：将所述待处理数据块队列的查询范围与所述基于索引的索引属性值范围求交，当相交结果为空，则将该待处理数据块队列抛弃，否则，查找其相交结果中的最小索引属性值，并跳到所述最小索引属性值对应的行偏移量开始读取数据。

本发明提供的一种基于Hadoop的索引创建方法及其索引方法，利用Hadoop从原始数据中提取索引信息，在进行数据读取时，根据所述索引信息，直接跳过无用的数据而执行读取动作，从而避免了Hadoop读取无用数据，提高了海量数据的处理效率。

附图说明

图1为本发明一实施例中基于Hadoop的索引创建方法的流程图；

图2为本发明第二实施例的一示意图；

图3为本发明第二实施例中的另一示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1：

如图1所示，本发明提供一种基于Hadoop的索引创建方法，包括以下步骤：

将输入分片按行读取，分别形成第一键值对，并将读取的所述字符串按行生成第一输入表格；