[发明专利]一种Hive的同步方法、系统、设备以及介质

说明书

本发明公开了一种Hive的同步方法，包括以下步骤：获取满足预设条件的SQL命令；利用所述SQL命令生成消息；提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息；判断所述审核信息对应的审核状态；响应于所述审核状态为审核通过，利用审核通过的消息进行同步。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明实施例提供的方案通过在同步过程中通过增加审核步骤，可以对敏感数据进行保护。

技术领域

本发明涉及灾备同步领域，具体涉及一种Hive的同步方法、系统、设备以及存储介质。

背景技术

目前常用的灾备同步方案主要是通过懒加载，主从模式将数据和元数据直接同步到另外的仓库，准实时同步方式对Hive元数据和数据进行全量的export，然后替换从仓库的数据，没有审核机制，不能很好的保护数据。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种Hive的同步方法，包括以下步骤：

获取满足预设条件的SQL命令；

利用所述SQL命令生成消息；

提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息；

判断所述审核信息对应的审核状态；

响应于所述审核状态为审核通过，利用审核通过的消息进行同步。

在一些实施例中，提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息，进一步包括：

判断所述审核信息是否存在；

响应于所述审核信息存在，获取所述审核单位对应的审核信息。

在一些实施例中，还包括：

响应于所述审核信息不存在，新建所述审核单位对应的审核信息。

在一些实施例中，还包括：

响应于所述审核状态为新建，将所述消息转移到延时处理队列；

对所述延时处理队列中的消息进行审核并更新对应的审核状态；

响应于所述审核状态为审核通过，利用审核通过的消息进行同步。

在一些实施例中，对所述延时处理队列中的消息进行审核并更新对应的审核状态，进一步包括：

获取所述延时处理队列中预设数量的消息；

对所述预设数量的消息中具有相同审核单位的消息进行合并；

对合并后的消息进行审核并更新对应的审核状态。

在一些实施例中，利用审核通过的消息进行同步，进一步包括：

根据预设的同步策略确定对所述审核通过的消息进行同步的时间。

在一些实施例中，还包括：

根据Hive的元数据确定对数据同步的方式。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种Hive的同步系统，包括：

监听模块，所述监听模块配置为获取满足预设条件的SQL命令；

生成模块，所述生成模块配置为利用所述SQL命令生成消息；

提取模块，所述提取模块配置为提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息；

审核模块，审核模块配置为判断所述审核信息对应的审核状态；