[发明专利]一种维表数据更新方法、装置及电子设备

说明书

本发明实施例提供了一种维表数据更新方法、装置及电子设备。该方法应用于流计算系统，包括：基于目标原始维表的同步日志，确定用于更新待更新维表的目标同步日志；针对目标同步日志中的每一日志条目，确定该日志条目对应的维表数据在更新前和更新后的存储位置的位置变化量；针对目标同步日志中的每一日志条目，从该日志条目对应的位置变化量指示的存储区域内，读取维表数据；针对目标同步日志中的每一日志条目，根据该日志条目对应的待利用维表数据，更新待更新维表中与该日志条目对应的维表数据条目。与现有技术相比，应用本发明实施例提供的方案，可以实现对流计算框架中所缓存的维表的更新，避免在进行数据关联时，关联到未更新到无效数据。

技术领域

本发明涉及大数据技术领域，特别是涉及一种维表数据更新方法、装置及电子设备。

背景技术

当前，随着大数据技术的不断发展，针对大规模流动数据，流计算被广泛应用于各种应用领域中，例如，电子邮件、电子感应器、社交网站等。

其中，所谓流计算是指：在大规模流动数据不断变化的运动过程中，对该流动数据实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。具体的，在流计算中，通常由流计算系统中的数据采集端从外部数据源采集数据流，并分发给数据处理端进行处理和分析。并且，由于数据采集端所采集的数据往往比较有限，因此，在进行分析前，需要将所采集到的数据流中的各个流计算数据与预设数据库中所存储的维表中的维表数据进行关联(join)，以获得较为完整的数据。其中，能够关联的流计算数据和维表数据具有相同的关键字序列。

通常，上述预设数据库位于第三方存储系统中，因此，需要在进行上述数据关联时，需要通过网络IO(Input/Output，输入/输出)接口实时对上述预设数据库进行访问，以实现数据传输。基于此，在流计算过程中，由于需要多次实时访问上述预设数据库，因此，可以给上述第三方系统带来较大的输出压力，并影响上述数据关联的效率。

相关技术中，为了减轻流计算过程中，给上述第三方系统带来较大的输出压力，并提高上述数据关联的效率，通常，可以在流计算系统中缓存上述维表。进而，在进行上述数据关联时，便可以直接与所缓存的维表中的数据进行关联。

然而，在上述相关技术中，流计算系统无法感知上述预设数据库中所存储的维表中各个维度下的维表数据的变化，从而，导致在进行上述数据关联时，所关联的数据可能为未更新的无效数据，从而，影响流计算的处理结果。

发明内容

本发明实施例的目的在于提供一种维表数据更新方法、装置、电子设备及计算机可读存储介质，以实现对流计算框架中所缓存的维表的更新，避免在进行数据关联时，关联到未更新到无效数据，提高流计算的处理效果。

具体技术方案如下：

第一方面，本发明实施例提供了一种维表数据更新方法，应用于流计算系统，所述方法包括：

基于目标原始维表的同步日志，确定用于更新待更新维表的目标同步日志；其中，所述目标原始维表为预设数据库中存储的，且与所述待更新维表对应的原始维表；

针对所述目标同步日志中的每一日志条目，确定该日志条目对应的维表数据在更新前和更新后的存储位置的位置变化量，作为该标日志条目对应的位置变化量；

针对所述目标同步日志中的每一日志条目，从该日志条目对应的位置变化量指示的存储区域内，读取维表数据，作为该目标日志条目对应的待利用维表数据；

针对所述目标同步日志中的每一日志条目，根据该日志条目对应的待利用维表数据，更新所述待更新维表中与该日志条目对应的维表数据条目；其中，该日志条目对应的维表数据条目与该日志条目指代同一数据对象。

可选的，一种具体实现方式中，所述基于目标原始维表的同步日志，确定用于更新待更新维表的目标同步日志的步骤，包括：