[发明专利]Druid集群的迁移方法、装置及计算机设备有效
申请号: | 202010173251.5 | 申请日: | 2020-03-13 |
公开(公告)号: | CN111506555B | 公开(公告)日: | 2023-05-23 |
发明(设计)人: | 蔡劲;万书武;贺波;蒋英明 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27 |
代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
地址: | 518000 广东省深圳市福田街*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | druid 集群 迁移 方法 装置 计算机 设备 | ||
本申请公开了一种Druid集群的迁移方法、装置及计算机设备,涉及计算机技术领域,可解决在进行Druid集群的迁移时,状态数据无法识别,且迁移周期长、工作效率低的问题。其中方法包括:获取需要进行集群迁移的待迁移Druid集群以及符合配置要求的目标Druid集群;通过扩容Zookeeper集群将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群;在完成对所述状态数据的迁移后,将所述待迁移Druid集群中的元数据迁移至所述目标Druid集群;在完成对所述元数据的迁移后,通过增加Historical服务将所述待迁移Druid集群的Druid集群服务切换为所述目标Druid集群的Druid集群服务,以便实现对所述待迁移Druid集群的迁移。本申请适用于对Druid集群的迁移。
技术领域
本申请涉及计算技术领域,尤其涉及到一种Druid集群的迁移方法、装置及计算机设备。
背景技术
Hadoop集群内部搭建一套包含多台机器的Druid集群,由于数据量的增加、任务的增多以及对集群性能要求的增加,因此之前搭建的Duird集群的机器配置完全不能满足现在的要求,从而需要更换配置更高的机器搭建新的Druid集群,以满足集群性能及业务需求。因此需要将Druid集群的服务和数据迁移到新搭建的Druid集群上。
目前在进行Druid集群的迁移时,主要通过将Zookeeper里面Druid的状态数据直接用复制的方式复制到新Druid集群的机器上,远程将Druid集群的机器上本地缓存的数据迁移到新Druid集群的相同目录下或者直接启动Historical服务让其自行从HDFS上将数据下载到本地缓存。然而这种数据迁移方式会容易使迁移过去的Druid的状态数据无法识别,并且会使数据迁移的周期较长,影响工作效率。
发明内容
有鉴于此,本申请提供了一种Druid集群的迁移方法、装置及计算机设备,可以解决在进行Druid集群的迁移时,状态数据无法识别,且迁移周期长、工作效率低的问题。
根据本申请的一个方面,提供了一种Druid集群的迁移方法,该方法包括:
获取需要进行集群迁移的待迁移Druid集群以及符合配置要求的目标Druid集群;
通过扩容Zookeeper集群将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群;
在完成对所述状态数据的迁移后,将所述待迁移Druid集群中的元数据迁移至所述目标Druid集群;
在完成对所述元数据的迁移后,通过增加Historical服务将所述待迁移Druid集群的Druid集群服务切换为所述目标Druid集群的Druid集群服务,以便实现对所述待迁移Druid集群的迁移。
相应的,所述通过扩容Zookeeper集群将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群,具体包括:
获取所述待迁移Druid集群的Zookeeper状态;
基于所述Zookeeper状态将所述目标Druid集群的Zookeeper集群扩容至所述待迁移Druid集群的Zookeeper集群中,以便将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群。
具体地,所述基于所述Zookeeper状态将所述目标Druid集群的Zookeeper集群扩容至所述待迁移Druid集群的Zookeeper集群中,以便将所述待迁移Druid集群中的状态数据迁移至所述目标Druid集群,具体包括:
从所述目标Druid集群中提取预设数量个目标Zookeeper集群;
启动所述目标Zookeeper集群的ZooKeeper服务;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010173251.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:光学元件驱动机构的底座
- 下一篇:一种产业园区空间选址方法及系统