[发明专利]数据迁移方法、装置、服务器及存储介质

说明书

本公开关于一种数据迁移方法、装置、服务器及存储介质，应用于集群外的控制中心，所述方法包括：响应于数据迁移请求，数据迁移请求携带源集群标识和目标集群标识，生成数据迁移指令；将数据迁移指令发送至与目标集群标识对应的目标集群，数据迁移指令用于指示目标集群从源集群标识对应的源集群中获取待迁移数据；当数据迁移完成时接收源集群和目标集群的元数据信息。该方法通过引入控制中心，当数据迁移完成后，在控制中心中统一保存集群中的子集群对应的元数据信息，可以保证元数据信息的准确性。通过控制中心统一处理客户端元数据请求，可以简化数据迁移流程，且节约数据迁移耗费的人力和时间等成本。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置、服务器及存储介质。

背景技术

一般企业的消息队列分布服务(kafka)分布在多个机房，每个机房包含多个集群。对于同一个集群，随着集群中数据量的增长，往往需要对集群进行扩容或者数据迁移，从而缓解集群的压力。

而在一些场景中，由于集群所在机房经常因机架位设置不够而不能对集群进行扩容，因此，可以采用topic(主题)迁移的方式解决集群中数据量过大的问题。但是，相关技术中，将主题从源集群(转出数据的集群)迁移至目标集群(转入数据的集群)后，源集群和目标集群中的元数据信息会相应改变，因此，需要单独将订阅该主题的客户端中配置的源集群地址变更至目标集群地址，使客户端能够获取正确的元数据信息，存在操作麻烦且人力和时间成本耗费较大的问题。

发明内容

本公开提供一种数据迁移方法、装置、服务器及存储介质，以至少解决相关技术中对集群中的数据进行迁移操作麻烦且人力和时间成本耗费较大的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据迁移方法，应用于集群外的控制中心，方法包括：

响应于数据迁移请求，数据迁移请求携带源集群标识和目标集群标识，生成数据迁移指令；

将数据迁移指令发送至与目标集群标识对应的目标集群，数据迁移指令用于指示目标集群从源集群标识对应的源集群中获取待迁移数据；

当数据迁移完成时接收源集群和目标集群的元数据信息。

在其中一个实施例中，数据迁移请求中还携带有待迁移主题标识；将数据迁移指令发送至与目标集群标识对应的目标集群，包括：

根据待迁移主题标识在目标集群中创建用于存储待迁移数据的目标主题；

将数据迁移指令发送至目标集群，数据迁移指令用于指示目标集群从源集群中获取待迁移主题标识对应的待迁移数据，并将待迁移数据保存至目标主题中。

在其中一个实施例中，在数据迁移过程中，待迁移主题的状态为读写状态，目标主题的状态为只读状态。

在其中一个实施例中，所述方法还包括：

当数据迁移完成时更新目标集群中的目标主题的状态为读写状态，更新源集群中的待迁移主题的状态为禁用状态。

在其中一个实施例中，当数据迁移完成时接收源集群和目标集群的元数据信息，包括：

在数据迁移过程中，接收源集群发送的待迁移主题和目标主题的数据同步结果；

当根据数据同步结果，确定待迁移主题与目标主题的消息偏移量一致时，接收源集群和目标集群的元数据信息。

在其中一个实施例中，所述方法还包括：

在数据迁移过程中，当待迁移主题与目标主题的消息偏移量满足预设要求时，更新待迁移主题为禁止读写状态。

在其中一个实施例中，在当数据迁移完成时接收源集群和目标集群的元数据信息之后，还包括：