[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例适用于数据处理技术领域，提供了一种数据处理方法、装置、电子设备及存储介质，其中，数据处理方法包括：确定待执行任务是否改变数据仓库中的数据表的数据口径；在待执行任务改变数据仓库中的数据表的数据口径的情况下，确定数据仓库中与待执行任务相关联的至少一个数据表；基于至少一个数据表中的每个数据表与数据仓库中的数据表的依赖关系，对数据仓库中的数据表进行升级。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

数据仓库已经成为大型互联网公司必备的基础设施，在对数据仓库进行数据版本升级时，相关技术在数据仓库中增加版本号做乐观锁使用，当提交的数据的版本号大于数据库表中数据的当前版本号时，对数据仓库中的数据予以更新。但是数据仓库在构建时通常采用分层设计，数据仓库具有分层依赖，乐观锁无法满足分层依赖情况下的数据仓库的版本自动升级。

发明内容

为了解决上述问题，本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术乐观锁无法满足分层依赖情况下的数据仓库的版本自动升级的问题。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了数据处理方法，该方法包括：

确定待执行任务是否改变数据仓库中的数据表的数据口径；

在所述待执行任务改变所述数据仓库中的数据表的数据口径的情况下，确定所述数据仓库中与所述待执行任务相关联的至少一个数据表；

基于所述至少一个数据表中的每个数据表与所述数据仓库中的数据表的依赖关系，对所述数据仓库中的数据表进行升级。

上述方案中，所述基于所述至少一个数据表中的每个数据表的依赖关系，对所述数据仓库中的数据表进行升级，包括：

基于所述依赖关系确定所述至少一个数据表中的每个数据表的依赖链；所述依赖链上的每一个节点对应所述数据仓库中的一个数据表；

对所述依赖链上的每一个节点对应的数据表进行升级。

上述方案中，在对所述依赖链上每一个节点对应的数据表进行升级时，所述数据处理方法包括：

升级所述至少一个数据表中的每个数据表的主版本号；

升级所述依赖链上除所述至少一个数据表之外的所有数据表的子版本号。

上述方案中，其特征在于，所述数据处理方法还包括：

在所述待执行任务表征更新第一数据表的至少两个时间分区的数据的数据口径的情况下，对所述第一数据表的依赖链上的所有数据表的所述至少两个时间分区中的每个时间分区的数据的数据口径进行更新。

上述方案中，在对所述第一数据表的依赖链上的所有数据表的所述至少两个时间分区中的每个时间分区的数据的数据口径进行更新时，所述数据处理方法包括：

在第二数据表中存在未更新数据口径的第一时间分区的情况下，禁止对第三数据表中的所述第一时间分区的数据的数据口径进行更新；所述第二数据表和所述第三数据表为所述第一数据表的依赖链上的数据表；所述第三数据表依赖于所述第二数据表。

上述方案中，所述数据处理方法还包括：

在第四数据表加入第五数据表的依赖链的情况下，检测所述第四数据表和所述第五数据表是否被同一个任务所依赖；

在所述第四数据表和所述第五数据表没有被同一个任务所依赖的情况下，检测所述第四数据表和所述第五数据表是否互相依赖；

在所述第四数据表和所述第五数据表没有互相依赖的情况下，将第四数据表加入第五数据表的依赖链。