[发明专利]基于OLAP预计算模型的数据加工查询方法及装置

说明书

本发明公开一种基于OLAP预计算模型的数据加工查询方法及装置，涉及大数据技术领域，能够灵活支持多种维度组合的预计算任务，不仅形式灵活而且节省计算和存储资源。该方法包括：从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；将从报表系统中获取的查询指标转换成与维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。该装置应用有上述方案所提的方法。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于OLAP预计算模型的数据加工查询方法及装置。

背景技术

在数据快速膨胀的互联网时代，企业收集数据的规模越来越大，收集数据的分类越来越细致。如何有效地利用这些数据，挖掘数据中的潜在规律，最终给企业的经营提供前瞻性指导性的意见，成为了一个亟待解决的问题。OLAP，中文含义叫联机分析处理系统，它能够让分析人员高效、迅速、一致、精确的从各个方面观察信息，以达到深入理解数据的目的，挖掘数据的最大价值。OLAP的主要特点在于能够直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有较佳地分析灵活性。

传统预计算模型属于OLAP众多模型的一种，其存在维度组合较为固定、形式单一、计算存储资源消耗大的缺陷，比如传统预计算模型有10个维度，当前预计算模型只能根据这10个维度进行值的计算，也即只有一种组合，如果要实现10个维度的各种维度组合的预计算，则需要对应建立多个预计算模型。

发明内容

本发明的目的在于提供一种基于OLAP预计算模型的数据加工查询方法及装置，能够灵活支持多种维度组合的预计算条件，不仅形式灵活而且节省计算和存储资源。

为了实现上述目的，本发明的第一方面提供一种基于OLAP预计算模型的数据加工查询方法，包括：

从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；

基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；

将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。

优选地，从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群的方法包括：

通过OLAP系统从数据仓库提取原始数据，清洗处理后将多条元数据缓存入公共集群的hive表中；

通过OLAP系统定时将公共集群中的hive表迁移到OLAP专属集群中；

通过OLAP系统定时将OLAP专属集群中的hive表加工至专属集群的parquet文件中。

较佳地，将公共集群中的每条元数据进行维度编码后迁移至计算引擎的方法包括：

通过OLAP系统定时将专属集群的parquet文件加工到druid计算引擎中。

优选地，所述维度列表包括顺序排列的多个维度字段，或者同时包括与所述维度字段一一对应的维度编码。

较佳地，将公共集群中的元数据进行维度编码的方法包括：

将元数据中的维值字段与所述维度列表中的维度字段进行匹配，当维度字段匹配的维值字段有值则在维度编码中对应位置处的标记值为1，当维度字段匹配的维值字段无值则在维度编码中对应位置处的标记值为0；

依序汇总标记值，生成与所述元数据对应的维度编码。