[发明专利]一种数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于数据仓库，所述方法包括：

获取数据源的数据；

对所述数据源的数据进行流式处理，得到第一数据；

将所述第一数据关联对应的维度表，得到第二数据；

将所述第二数据中不可复用数据写入消息队列；

将所述第二数据中的可复用数据写入数据湖表；

将所述数据湖表的数据写入离线数据库；

基于全量数据运算时，从所述离线数据库读取历史数据；合并所述历史数据和实时数据，并进行全量数据运算；其中，所述全量数据运算为流式处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述可复用数据写入数据湖表的时间，将所述可复用数据分区并写入分区表。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述可复用数据写入所述消息队列或关系型数据库。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述消息队列的数据写入线上数据库。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述数据湖表的数据进行流式处理，得到第三数据；

将所述第三数据写入线上数据库。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述线上数据库的数据进行前端展示。

7.一种数据处理装置，其特征在于，应用于数据仓库，所述装置包括：

获取单元，用于获取数据源的数据；

第一处理单元，用于对所述数据源的数据进行流式处理，得到第一数据；

第二处理单元，用于将所述第一数据关联对应的维度表，得到第二数据；

写入单元，用于将所述第二数据中不可复用数据写入消息队列；以及，将所述第二数据中的可复用数据写入数据湖表；将所述数据湖表的数据写入离线数据库；

读取单元，用于基于全量数据运算时，从所述离线数据库读取历史数据；

合并运算单元，用于合并所述历史数据和实时数据，并进行全量数据运算；其中所述全量数据运算为流式处理。

8.根据权利要求7所述的装置，其特征在于，所述写入单元还用于基于所述可复用数据写入数据湖表的时间，将所述可复用数据分区并写入分区表。

9.根据权利要求7所述的装置，其特征在于，所述写入单元还用于将所述可复用数据写入所述消息队列或关系型数据库。

10.根据权利要求7所述的装置，其特征在于，所述写入单元还用于将所述消息队列的数据写入线上数据库。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

第三处理单元，用于对所述数据湖表的数据进行流式处理，得到第三数据；

所述写入单元，还用于将所述第三数据写入线上数据库。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

展示单元，用于将所述线上数据库的数据进行前端展示。

13.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至6任一项所述方法的步骤。

14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至6任一项所述方法的步骤。