[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、设备及存储介质，属于数据处理技术领域。该方法包括：基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；所述表结构包括周期持续时长；在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确定目标时间拉链表，并将更新的数据存储至所述目标时间拉链表。通过上述技术方案，可以实时数据仓库和批量数据仓库的统一管理。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

数据仓库时间拉链保存历史数据，但当前数据仓库时间拉链的处理频率通常默认是日，并且固化在程序中的。由于大数据实时处理技术的成熟，出现了比一天更短的时间周期的实时数据仓库，用于响应实时业务分析需求。短周期拉链表数据经过长时间的累积，就会产生大量的无用短周期的历史数据，另一方面传统的按日处理的批量数据仓库与实时数据仓库在企业内并行，有重复计算的缺点。

发明内容

本发明提供了一种数据处理方法、装置、设备及存储介质，以实现实时数据仓库和批量数据仓库的统一管理。

根据本发明的一方面，提供了一种数据处理方法，该方法包括：

基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；所述表结构包括周期持续时长；

在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确定目标时间拉链表，并将更新的数据存储至所述目标时间拉链表。

根据本发明的另一方面，提供了一种数据处理装置，该装置包括：

初始时间拉链表确定模块，用于基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；所述表结构包括周期持续时长；

目标时间拉链表确定模块，用于在当前时刻识别到数据发生更新的情况下，从所述至少一个初始时间拉链表中确定目标时间拉链表，并将更新的数据存储至所述目标时间拉链表。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

本发明实施例的技术方案，通过基于拉链表配置规则，对数据仓库中时间拉链表的表结构进行配置，得到至少一个初始时间拉链表；表结构包括周期持续时长，之后在当前时刻识别到数据发生更新的情况下，从至少一个初始时间拉链表中确定目标时间拉链表，并将更新的数据存储至目标时间拉链表。上述技术方案，可以灵活且动态的配置时间拉链表的频率，即可以灵活定义时间拉链表的处理窗口，方便实现流批一体的数据仓库，可以实现实时数据仓库和批量数据仓库的统一管理。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。