[发明专利]基于Hadoop的索引创建方法及其索引方法

权利要求书

1.一种基于Hadoop的索引创建方法，其特征在于，包括以下步骤：

将输入分片按行读取，分别形成第一键值对，并将读取的所述字符串按行生成第一输入表格；

获取所述第一输入表格的格式信息，根据所述第一键值对，将所述第一输入表格的各行字符串进行重组，生成第二输入表格；

提取所述第二输入表格的索引属性值；

计算所述各第二键值对的分片号，根据所述各第二键值对的分片号，对所述各第二键值对进行分组；

将每组内所述各第二键值对对应的表格记录按照其索引属性值进行排序，并根据生成的所述各中间键值对，提取所述每组表格记录的索引取值范围，创建基于文件的索引。

2.如权利要求1所述的方法，其特征在于，基于所述将每组内所述各第二键值对对应的表格记录按照其索引属性值进行排序，所述方法进一步包括：

将所述排序后的表格记录按行读取，分别形成第三键值对，并将读取的所述字符串按行生成第三输入表格；

获取所述第三输入表格的格式信息，根据所述第三键值对，将所述第三输入表格的各行字符串进行重组，生成第四输入表格；

读取所述第四输入表格的索引属性值，并提取其索引取值范围，创建基于数据的索引。

3.如权利要求2所述的方法，其特征在于，在读取所述第四输入表格的索引属性值后，进一步包括：

将所述索引属性值与其对应表格记录的行偏移量保存在一起，形成CSS树的叶子节点；

将所述各叶子节点构建一棵CSS树，创建基于记录的索引。

4.一种基于Hadoop的索引方法，其特征在于，包括以下步骤：

将待查询文件的查询范围与所述基于文件的索引属性值范围求交，当其相交结果为空，则将该待查询文件抛弃，否则，将该待查询文件保存，形成待处理文件队列。

5.如权利要求4所述的方法，其特征在于，所述方法进一步包括：

将所述待处理文件队列的查询范围与所述基于数据块的索引属性值范围求交，当相交结果为空，则将该待处理文件队列抛弃，否则，将该处理文件队列保存，形成待处理数据块队列。

6.如权利要求5所述的方法，其特征在于，所述方法进一步包括：

将所述待处理数据块队列的查询范围与所述基于索引的索引属性值范围求交，当相交结果为空，则将该待处理数据块队列抛弃，否则，查找其相交结果中的最小索引属性值，并跳到所述最小索引属性值对应的行偏移量开始读取数据。