[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本公开实施例涉及一种数据处理方法、装置、电子设备及存储介质，应用于数据仓库，所述方法包括：获取数据源的数据；对所述数据源的数据进行流式处理，得到第一数据；将所述第一数据关联对应的维度表，得到第二数据；将所述第二数据中不可复用数据写入消息队列；将所述第二数据中的可复用数据写入数据湖表。本公开实施例中，通过将数据仓库层的数据区分为可复用数据和不可复用数据，进而不可复用数据写入数据湖表，进而使得数据湖表中的数据可以被分区，解决数据恢复和实时数据分区的问题。

技术领域

本公开实施例涉及计算机技术领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

数据仓库是一种结构化的数据环境，是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。图1示出了一种数据仓库的架构，包括三个层：数据运营层（ODS）、数据仓库层（DW）和数据产品层（APP）。

ODS层用于操作数据存储。数据来源层的数据经过ETL（Extract-Transform-Load，抽取-转换-加载）后装入ODS层，ODS层的数据通常基于数据源的业务分类进行分类。DW层获取ODS层的数据，并基于主题建立各种数据模型。APP层提供给数据产品、数据分析和数据挖掘使用的数据。

目前，数据仓库主要以kafka或者其他消息队列为主要组件，消息队列的性质决定了数据只能增加不能修改，数据恢复困难。另外，数据仓库的表单结构不能分区分桶，无法针对性地使用一部分数据。

上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。

发明内容

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种数据处理方法、装置、电子设备及存储介质。

第一方面，本公开实施例提出一种数据处理方法，应用于数据仓库，所述方法包括：

获取数据源的数据；

对所述数据源的数据进行流式处理，得到第一数据；

将所述第一数据关联对应的维度表，得到第二数据；

将所述第二数据中不可复用数据写入消息队列；

将所述第二数据中的可复用数据写入数据湖表。

第二方面，本公开实施例还提出一种数据处理装置，应用于数据仓库，所述装置包括：

获取单元，用于获取数据源的数据；

第一处理单元，用于对所述数据源的数据进行流式处理，得到第一数据；

第二处理单元，用于将所述第一数据关联对应的维度表，得到第二数据；

写入单元，用于将所述第二数据中不可复用数据写入消息队列；以及，将所述第二数据中的可复用数据写入数据湖表。

第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。

第四方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。

可见，本公开的至少一个实施例中，通过将数据仓库层的数据区分为可复用数据和不可复用数据，进而不可复用数据写入数据湖表，进而使得数据湖表中的数据可以被分区，解决数据恢复和实时数据分区的问题。

附图说明