[发明专利]基于OLAP预计算模型的数据加工查询方法及装置

权利要求书

1.一种基于OLAP预计算模型的数据加工查询方法，其特征在于，包括：

从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；

基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；

将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。

2.根据权利要求1所述的方法，其特征在于，从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群的方法包括：

通过OLAP系统从数据仓库提取原始数据，清洗处理后将多条元数据缓存入公共集群的hive表中；

通过OLAP系统定时将公共集群中的hive表迁移到OLAP专属集群中；

通过OLAP系统定时将OLAP专属集群中的hive表加工至专属集群的parquet文件中。

3.根据权利要求2所述的方法，其特征在于，将公共集群中的每条元数据进行维度编码后迁移至计算引擎的方法包括：

通过OLAP系统定时将专属集群的parquet文件加工到druid计算引擎中。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述维度列表包括顺序排列的多个维度字段，或者同时包括与所述维度字段一一对应的维度编码。

5.根据权利要求4所述的方法，其特征在于，将公共集群中的元数据进行维度编码的方法包括：

将元数据中的维值字段与所述维度列表中的维度字段进行匹配，当维度字段匹配的维值字段有值则在维度编码中对应位置处的标记值为1，当维度字段匹配的维值字段无值则在维度编码中对应位置处的标记值为0；

依序汇总标记值，生成与所述元数据一一对应的维度编码。

6.根据权利要求5所述的方法，其特征在于，将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据返回查询结果的方法包括：

在报表系统选择一个或多个查询维度，形成维度查询组合；

OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；

OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。

7.根据权利要求6所述的方法，其特征在于，从计算引擎中查询符合条件元数据的方法包括：

根据所述查询编码从计算引擎中搜寻维度编码一致的元数据，计算后返回查询结果。

8.一种基于OLAP预计算模型的数据加工查询装置，其特征在于，包括：

数据提取单元，用于从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；

数据加工单元，用于基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；

数据查询单元，用于将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。

9.根据权利要求8所述的装置，其特征在于，所述数据查询单元包括：

查询模块，用于在报表系统选择一个或多个查询维度，形成维度查询组合；

查询语句改造模块，用于OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；

查询语句转换模块，用于OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。

10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。