[发明专利]大数据平台数仓之间数据同步方法、装置及存储介质

说明书

本发明涉及一种大数据，揭露一种大数据平台数仓之间数据同步方法，包括：连接至少两个数仓，至少两个数仓包括一个源环境数仓和至少一个目标环境数仓；在源环境数仓和目标环境数仓均存在源表的情况下，判断源环境数仓中的源表与目标环境数仓中的源表的表结构是否一致；当源环境数仓中的源表与目标环境数仓中的源表的表结构不一致时，删除目标环境数仓中的源表，并从源环境数仓中导出源表的建表语句；在目标环境数仓中执行建表语句，以实现源环境数仓和目标环境数仓之间的数据同步。此外，本发明还涉及区块链技术，所述源表数据存储于区块链中。本发明可以提高数据同步的效率及精度。

技术领域

本发明涉及大数据处理，尤其涉及一种大数据平台数仓之间数据同步方法、装置、电子设备及计算机可读存储介质。

背景技术

目前在大数据测试工作中，存在两套或多套Hive数仓，而测试过程中时如果因为某些情况突然要从环境A切换到环境B，此时大数据测试面临多个困难点及痛点，主要存在以下几种情况：

1、环境B对应的Hive数仓中的各源表不一定都存在。如果源表x不存在，需要从环境A对应的Hive数仓中把源表x的建表语句取到后再在环境B对应的Hive数仓中执行，然后再次检查环境B对应的Hive数仓中是否正确新建了该源表x；

2、环境B对应的Hive数仓中各源表结构不一定是最新的。如果源表x在环境A和环境B对应的Hive数仓中都存在，需要仔细核对两个环境对应Hive数仓中的源表结构，比较费时费力，有些表字段较多的时候，人工比对容易出错；

3、环境B对应的Hive数仓中各源表的数据是比较旧的，不满足当前的测试需要。如果源表y在环境B对应的Hive数仓中存在的数据较少或没有最近时间的数据，需要自己造数据，或从环境A对应的Hive数仓中把源表y数据导出后再导入环境B对应的Hive库源表y中；

4、检查环境B对应Hive数仓源表中数据是否符合测试需要。一方面是源表的数据量，另一方面是源表的数据；

可知，目前市面上并不存在不同Hive数仓之间的数据同步工具，且由于在实际工作中使用较多，导致每次版本测试中环境切换都会给大数据测试带来很多额外的工作，占用本就不充裕的测试时间，增加测试风险和版本质量风险。

发明内容

本发明提供一种大数据平台数仓之间数据同步方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据同步效率及准确度。

为实现上述目的，本发明提供的一种大数据平台数仓之间数据同步方法，包括：

连接至少两个数仓，所述至少两个数仓包括一个源环境数仓和至少一个目标环境数仓；

在所述源环境数仓和所述目标环境数仓均存在源表的情况下，判断所述源环境数仓中的源表与所述目标环境数仓中的源表的表结构是否一致；

当所述源环境数仓中的源表与所述目标环境数仓中的源表的表结构不一致时，删除所述目标环境数仓中的源表，并从所述源环境数仓中导出源表的建表语句；

在所述目标环境数仓中执行所述建表语句，以实现所述源环境数仓和所述目标环境数仓之间的数据同步。

可选地，所述源环境数仓中的源表存储于区块链中，在连接至少两个数仓之后还包括：

判断所述源环境数仓中是否存在待同步的源表；

当所述源环境数仓中不存在待同步的源表时，数据同步结束，并在用户界面进行状态提示；

否则，当所述源环境数仓中存在待同步的源表时，判断所述源环境数仓的待同步的源表中待同步的各指定分区是否存在数据；

当所述源环境数仓的待同步的源表中待同步的各指定分区不存在数据或者数据量小于预设阈值时，数据同步结束。