[发明专利]一种数据迁移方法、装置、电子设备以及存储介质

说明书

本申请提供了一种数据迁移方法、装置、电子设备以及存储介质。所述方法应用于数据迁移服务系统，所述方法包括：在第一集群中的源实例产生新的数据时，将所述新的数据作为所述源实例对应的待迁移数据；对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中；将各个所述队列中的数据输出到第二集群中的目标实例。通过该数据迁移方法，可以在第一集群中的源实例产生新的数据时，立即将新产生的数据同步迁移到第二集群中的目标实例中，实现了ElasticSearch集群之间的数据的实时迁移。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据迁移方法、装置、电子设备以及存储介质。

背景技术

ElasticSearch集群实时数据同步迁移方法能在迁移网络环境复杂、性能要求较高、数据量大且难以启停服务的场景下实现业务7*24不间断服务。通常的ElasticSearch集群实时数据同步迁移方法采用集群自带的snapshot快照功能进行数据同步，它对集群本身性能要求较高，同时对网络稳定性要求较高，当发生网络抖动或遇到业务访问高峰期时，会对备份结果产生不稳定因素。其次，对于某些对集群依赖度较高的行业，在进行实时写入的情况下，无法做到按需快照还原。因此，如何实现多ElasticSearch集群下数据的实时迁移，成为亟待解决的问题。

发明内容

本申请实施例提供了一种数据迁移方法、装置、电子设备以及存储介质，可以在第一集群中的源实例产生新的数据时，立即将新产生的数据同步迁移到第二集群中的目标实例中，实现了ElasticSearch集群之间的数据的实时迁移。具体技术方案如下：

在本申请实施例的第一方面，首先提供了一种数据迁移方法，应用于数据迁移服务系统，所述方法包括：

在第一集群中的源实例产生新的数据时，将所述新的数据作为所述源实例对应的待迁移数据；

对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中；

将各个所述队列中的数据输出到第二集群中的目标实例。

可选地，所述各个类型的数据包括正常数据和异常数据；对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：

对于所述待迁移数据中的正常数据，采用预设同步方式，通过同步管道将所述正常数据存储到第一队列中；

对于所述待迁移数据中的异常数据，采用预设同步方式，通过同步管道将所述异常数据存储到第二队列中。

可选地，在将各个所述队列中的数据输出到第二集群中的目标实例后，所述方法还包括：

在所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量，与所述目标实例的相应参数一致，且所述同步管道中输入文件的数量与输出文件的数量一致时，确定数据迁移成功。

可选地，所述方法还包括：

检测所述同步管道的运行状态是否正常；

通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：

在所述同步管道的运行状态正常时，通过同步管道将所述数据存储到与数据的类型匹配的队列中。

可选地，在通过同步管道将所述数据存储到与数据的类型匹配的队列的过程中，所述方法还包括：

根据所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量中的一者或多者，分别与所述目标实例的相应参数的对比结果，得到数据迁移进度；

输出所述数据迁移进度。