[发明专利]一种大数据系统中创建索引表的方法

摘要

本发明提供一种大数据系统中创建索引表的方法。本发明包括（1）基于数据字典的元数据存储，采用字典编码来加快计算速度，数据只有在返回结果给用户的时候才转换成用户可读的形式；（2）多维数据聚集在入库时对数据按多个维度进行重新组织，使数据在“多维空间上更内聚”；（3）带索引的列存文件结构为多类场景设计了多个级别的索引，并融入了一些搜索的特性，有跨文件的多维索引，文件内的多维索引，每列的minmax索引，以及列内的倒排索引；（4）列组整体上是一种列存结构。本发明便于从海量的历史、实时数据中快速获取有用信息。

主权项

一种大数据系统中创建索引表的方法，其特征是：该方法包括：（1）基于数据字典的元数据存储，采用字典编码来加快计算速度，其使得处理/查询引擎可以直接在编码好的数据上进行处理而不需要转换数据，数据只有在返回结果给用户的时候才转换成用户可读的形式；（2）多维数据聚集：在入库时对数据按多个维度进行重新组织，使数据在“多维空间上更内聚”，在存储上获得更好的压缩率，在计算上获得更好的数据过滤效率；（3）带索引的列存文件结构：为多类场景设计了多个级别的索引，并融入了一些搜索的特性，有跨文件的多维索引，文件内的多维索引，每列的minmax索引，以及列内的倒排索引；索引和数据文件存放在一起，一部分索引本身就是数据，另一部分索引存放在文件的元数据结构中；（4）列组：整体上是一种列存结构，用户可以把某些不常作为过滤条件但又需要作为结果集返回的字段作为列组来存储，经过编码后会将这些字段使用行存的方式来存储以提升查询性能。