[发明专利]Druid集群的迁移方法、装置及计算机设备有效

专利信息
申请号: 202010173251.5 申请日: 2020-03-13
公开(公告)号: CN111506555B 公开(公告)日: 2023-05-23
发明(设计)人: 蔡劲;万书武;贺波;蒋英明 申请(专利权)人: 平安科技(深圳)有限公司
主分类号: G06F16/21 分类号: G06F16/21;G06F16/27
代理公司: 北京中强智尚知识产权代理有限公司 11448 代理人: 黄耀威
地址: 518000 广东省深圳市福田街*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: druid 集群 迁移 方法 装置 计算机 设备
【说明书】:

本申请公开了一种Druid集群的迁移方法、装置及计算机设备,涉及计算机技术领域,可解决在进行Druid集群的迁移时,状态数据无法识别,且迁移周期长、工作效率低的问题。其中方法包括:获取需要进行集群迁移的待迁移Druid集群以及符合配置要求的目标Druid集群;通过扩容Zookeeper集群将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群;在完成对所述状态数据的迁移后,将所述待迁移Druid集群中的元数据迁移至所述目标Druid集群;在完成对所述元数据的迁移后,通过增加Historical服务将所述待迁移Druid集群的Druid集群服务切换为所述目标Druid集群的Druid集群服务,以便实现对所述待迁移Druid集群的迁移。本申请适用于对Druid集群的迁移。

技术领域

本申请涉及计算技术领域,尤其涉及到一种Druid集群的迁移方法、装置及计算机设备。

背景技术

Hadoop集群内部搭建一套包含多台机器的Druid集群,由于数据量的增加、任务的增多以及对集群性能要求的增加,因此之前搭建的Duird集群的机器配置完全不能满足现在的要求,从而需要更换配置更高的机器搭建新的Druid集群,以满足集群性能及业务需求。因此需要将Druid集群的服务和数据迁移到新搭建的Druid集群上。

目前在进行Druid集群的迁移时,主要通过将Zookeeper里面Druid的状态数据直接用复制的方式复制到新Druid集群的机器上,远程将Druid集群的机器上本地缓存的数据迁移到新Druid集群的相同目录下或者直接启动Historical服务让其自行从HDFS上将数据下载到本地缓存。然而这种数据迁移方式会容易使迁移过去的Druid的状态数据无法识别,并且会使数据迁移的周期较长,影响工作效率。

发明内容

有鉴于此,本申请提供了一种Druid集群的迁移方法、装置及计算机设备,可以解决在进行Druid集群的迁移时,状态数据无法识别,且迁移周期长、工作效率低的问题。

根据本申请的一个方面,提供了一种Druid集群的迁移方法,该方法包括:

获取需要进行集群迁移的待迁移Druid集群以及符合配置要求的目标Druid集群;

通过扩容Zookeeper集群将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群;

在完成对所述状态数据的迁移后,将所述待迁移Druid集群中的元数据迁移至所述目标Druid集群;

在完成对所述元数据的迁移后,通过增加Historical服务将所述待迁移Druid集群的Druid集群服务切换为所述目标Druid集群的Druid集群服务,以便实现对所述待迁移Druid集群的迁移。

相应的,所述通过扩容Zookeeper集群将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群,具体包括:

获取所述待迁移Druid集群的Zookeeper状态;

基于所述Zookeeper状态将所述目标Druid集群的Zookeeper集群扩容至所述待迁移Druid集群的Zookeeper集群中,以便将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群。

具体地,所述基于所述Zookeeper状态将所述目标Druid集群的Zookeeper集群扩容至所述待迁移Druid集群的Zookeeper集群中,以便将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群,具体包括:

从所述目标Druid集群中提取预设数量个目标Zookeeper集群;

启动所述目标Zookeeper集群的ZooKeeper服务;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010173251.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top