[发明专利]集群平滑迁移方法及装置

说明书

本申请实施例提供一种集群平滑迁移方法及装置，涉及分布式领域，方法包括：根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作；本申请能够有效提高集群迁移时的可靠性和准确性。

技术领域

本申请涉及分布式领域，具体涉及一种集群平滑迁移方法及装置。

背景技术

Kafka作为一个高吞吐的分布式消息系统，已经被应用在很多大型公司的实际业务中。有时候因为基础设施改造等原因，Kafka集群需要迁移到新的设备上运行。目前的迁移技术一般是预先在新设备上搭建和旧集群完全一致的Kafka新集群，然后旧集群上游停止发送数据，接着旧集群下游将存量数据消费完，下游确认消费完后切换到新集群上消费数据，最后上游切换到新集群发送数据。

现有迁移技术的操作比较复杂，因为大部分集群都是包含多个上游和下游的，要全部上下游一起协商好迁移的时间和顺序是很困难的，而且上下游都需要停机进行迁移，对于一些不能停机或者停机影响较大的业务来说是不可行的。另外，这种迁移技术没有把存量的数据迁移到新集群上，如果某些下游需要回溯到之前的数据重新消费，现有迁移技术也是不支持的。

发明内容

针对现有技术中的问题，本申请提供一种集群平滑迁移方法及装置，能够有效提高集群迁移时的可靠性和准确性。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种集群平滑迁移方法，包括：

根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；

根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；

根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作。

进一步地，在所述根据所述主题重分布信息进行主题迁移之后，包括：

验证所述主题迁移是否执行成功；

若成功，则启动旧节点缩容操作，否则执行任务回退操作。

进一步地，所述根据所述集群基本信息和集群主题信息确定需扩容规模，包括：

根据集群内主题近一周事务处理量、消息体平均大小以及消息保留周期信息计算所有主题的最大带宽以及所需存储；

根据单节点所能支撑带宽以及存储计算集群规模；

根据所述最大带宽、所述所需存储以及所述集群规模确定需扩容规模。

进一步地，所述根据所述需扩容规模进行横向扩容，包括：

将与消息中间件版本对应的介质信息下发至新节点，并在所述新节点上安装启动所述消息中间件；

将所述新节点加入待迁移集群。

进一步地，所述根据所述主题重分布信息进行主题迁移，包括：

将所述主题重分布信息转换未JSON文件并下发至集群内任意节点上；

根据所述JSON文件执行主题副本迁移操作。

进一步地，所述在所述主题迁移完成后对相应的旧节点进行缩容操作，包括：

校验旧节点上是否存在未迁移主题；