[发明专利]一种Hive的同步方法、系统、设备以及介质在审
| 申请号: | 202010094667.8 | 申请日: | 2020-02-16 |
| 公开(公告)号: | CN111339184A | 公开(公告)日: | 2020-06-26 |
| 发明(设计)人: | 李勇 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27 |
| 代理公司: | 北京连和连知识产权代理有限公司 11278 | 代理人: | 张涛 |
| 地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 hive 同步 方法 系统 设备 以及 介质 | ||
1.一种Hive的同步方法,其特征在于,包括以下步骤:
获取满足预设条件的SQL命令;
利用所述SQL命令生成消息;
提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息;
判断所述审核信息对应的审核状态;
响应于所述审核状态为审核通过,利用审核通过的消息进行同步。
2.如权利要求1所述的方法,其特征在于,提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息,进一步包括:
判断所述审核信息是否存在;
响应于所述审核信息存在,获取所述审核单位对应的审核信息。
3.如权利要求2所述的方法,其特征在于,还包括:
响应于所述审核信息不存在,新建所述审核单位对应的审核信息。
4.如权利要求1所述的方法,其特征在于,还包括:
响应于所述审核状态为新建,将所述消息转移到延时处理队列;
对所述延时处理队列中的消息进行审核并更新对应的审核状态;
响应于所述审核状态为审核通过,利用审核通过的消息进行同步。
5.如权利要求4所述的方法,其特征在于,对所述延时处理队列中的消息进行审核并更新对应的审核状态,进一步包括:
获取所述延时处理队列中预设数量的消息;
对所述预设数量的消息中具有相同审核单位的消息进行合并;
对合并后的消息进行审核并更新对应的审核状态。
6.如权利要求1或4所述的方法,其特征在于,利用审核通过的消息进行同步,进一步包括:
根据预设的同步策略确定对所述审核通过的消息进行同步的时间。
7.如权利要求6所述的方法,其特征在于,还包括:
根据Hive的元数据确定对数据同步的方式。
8.一种Hive的同步系统,其特征在于,包括:
监听模块,所述监听模块配置为获取满足预设条件的SQL命令;
生成模块,所述生成模块配置为利用所述SQL命令生成消息;
提取模块,所述提取模块配置为提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息;
审核模块,审核模块配置为判断所述审核信息对应的审核状态;
同步模块,所述同步模块配置为响应于所述审核状态为审核通过,利用审核通过的消息进行同步。
9.一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010094667.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种集群的资源释放方法、设备以及介质
- 下一篇:一种节点板卡和服务器





