[发明专利]基于数据仓库的数据处理方法和装置

说明书

本发明提供一种基于数据仓库的数据处理方法和装置，该方法应用于服务器，服务器包括有数据仓库，数据仓库包括应用层、中间层和基础层，中间层包括整合层和汇总层；该方法包括：接收应用层发送的数据查询请求，该数据查询请求用于指示查询待查询数据；在基础层中确定与待查询数据对应的第一实体，第一实体为用于存储原始数据的数据表；将第一实体中的原始数据发送给中间层，并通过中间层对原始数据进行处理，生成处理数据，处理数据为临时数据；将处理数据发送给应用层，并通过应用层对处理数据进行处理，得到待查询数据。本发明能够节省数据仓库的存储资源。

技术领域

本发明涉及数据存储技术，尤其涉及一种基于数据仓库的数据处理方法和装置。

背景技术

数据仓库(Data Warehouse，DWH)是保存企业生产或研发过程中产生的数据的集合。数据仓库通常用于记录企业从过去某一时点到当前的各个阶段的信息数据，管理者通过这些数据，可以对企业的发展历程和未来趋势做出定量分析和预测。

数据仓库通常包括基础层(ods)、整合层(dwd)、汇总层(dws)和应用层(dwa)，其中，基础层通常用于保存较长期的历史数据，整合层用于按照主题进行设计，例如整合订单的基础数据，形成宽表，汇总层用于针对整合层的数据进行汇总加工，以降低数据量，应用层用于根据具体应用进行数据加工。现有技术中，为了提高数据的查询速度，数据仓库的基础层、整合层、汇总层和应用层均会根据各自对应的计算规则对数据进行处理，并将处理后的数据进行保存，这样，在查找数据时，直接在各层对应的实体中查询数据即可。

然而，由于现有技术中在基础层、整合层、汇总层和应用层中均会对数据进行保存，这种方式会占用大量的冗余存储，从而造成数据仓库存储资源的浪费。

发明内容

为解决现有技术中存在的问题，本发明提供一种基于数据仓库的数据处理方法和装置，能够节省数据仓库的存储资源。

第一方面，本发明实施例提供一种基于数据仓库的数据处理方法，应用于服务器，所述服务器包括有数据仓库，所述数据仓库包括应用层、中间层和基础层，所述中间层包括整合层和汇总层；所述方法包括：

接收所述应用层发送的数据查询请求，所述数据查询请求用于指示查询待查询数据；

在所述基础层中确定与所述待查询数据对应的第一实体，所述第一实体为用于存储原始数据的数据表；

将所述第一实体中的原始数据发送给所述中间层，并通过所述中间层对所述原始数据进行处理，生成处理数据，所述处理数据为临时数据；

将所述处理数据发送给所述应用层，并通过所述应用层对所述处理数据进行处理，得到所述待查询数据。

在一种可能的实现方式中，所述方法还包括：

根据所述第一实体，在所述中间层中确定与所述待查询数据对应的虚拟实体，所述虚拟实体为用于存储所述处理数据的数据表；

将所述处理数据存储至所述中间层的所述虚拟实体；

在通过所述应用层对所述第二数据进行处理，得到所述待查询数据之后，删除所述虚拟实体中存储的所述处理数据。

在一种可能的实现方式中，所述根据所述第一实体，在所述中间层中确定与所述待查询数据对应的虚拟实体，包括：

根据所述第一实体，在所述整合层中确定与所述待查询数据对应的第一虚拟实体；

根据所述整合层中的第一虚拟实体，在所述汇总层中确定与所述待查询数据对应的第二虚拟实体。

在一种可能的实现方式中，所述将所述第一实体中的原始数据发送给所述中间层，并通过所述中间层对所述原始数据进行处理，生成处理数据，包括：