[发明专利]一种数据处理方法、装置及设备

说明书

本说明书实施例公开了一种数据处理方法、装置及设备。方案包括：将从各个数据源处获取的第一业务实体的流数据存储至日志型键值数据库中，所述日志型键值数据库中第一业务实体的数据之间具有关联关系；根据获取的所述日志型键值数据库的日志信息及所述关联关系，确定所述日志型键值数据库中第一业务实体的多维度数据。

本申请涉及计算机数据处理技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

实时数据仓库可直接从数据源处实时获取企业运行过程中涉及的各项业务的各种流数据，并基于实时流式计算任务对获取的各个流数据进行合并，得到实时的各项业务的多维度数据，通过对各项业务的多维度数据的分析、汇总，从而为企业所有级别的决策制定过程提供数据支持。目前，当实时数据仓库需从多个数据源处获取流数据时，通常采用双流join方法对从多个数据源处获取的某项业务的流数据进行合并，以生成该项业务的多维度数据。但是，由于双流join方法运行耗时较长，且实时数据仓库的数据源每增加一个，就需多执行一次双流join操作，当实时数据仓库的数据源的数量较多时，这种数据处理方法的延迟时间较大。

基于此，需要提供在数据源数量较多时，处理延迟时间更小的数据处理方案。

发明内容

有鉴于此，本申请实施例提供了一种数据处理方法、装置及设备，用于解决需要提供在数据源数量较多时，处理延迟时间更小的数据处理方案的问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种数据处理方法，所述方法应用于实时数据仓库服务器，包括：

从各个数据源处获取第一业务实体的流数据；

将所述流数据存储至日志型键值数据库，所述日志型键值数据库中第一业务实体的数据之间具有关联关系；

根据预设采集条件，获取所述日志型键值数据库的日志信息；

根据所述日志信息及所述关联关系，确定所述日志型键值数据库中第一业务实体的多维度数据，所述多维度数据是来自于所述各个数据源的数据。

本说明书实施例提供的一种数据处理装置，包括：

第一获取模块，用于从各个数据源处获取第一业务实体的流数据；

存储模块，用于将所述流数据存储至日志型键值数据库，所述日志型键值数据库中第一业务实体的数据之间具有关联关系；

第二获取模块，用于根据预设采集条件，获取所述日志型键值数据库的日志信息；

第一确定模块，用于根据所述日志信息及所述关联关系，确定所述日志型键值数据库中第一业务实体的多维度数据，所述多维度数据是来自于所述各个数据源的数据。

本说明书实施例提供的一种数据处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

从各个数据源处获取第一业务实体的流数据；

将所述流数据存储至日志型键值数据库，所述日志型键值数据库中第一业务实体的数据之间具有关联关系；

根据预设采集条件，获取所述日志型键值数据库的日志信息；

根据所述日志信息及所述关联关系，确定所述日志型键值数据库中第一业务实体的多维度数据，所述多维度数据是来自于所述各个数据源的数据。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：