[发明专利]Elastic Search集群间数据迁移方法、装置及系统

权利要求书

1.一种Elastic Search集群间数据迁移方法，其特征在于，包括：

将源ES集群中所有待迁移索引写入预设迁移队列中；

根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；

启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群。

2.根据权利要求1所述的Elastic Search集群间数据迁移方法，其特征在于，进一步包括；

预先将源ES集群的IP地址写入目标ES集群的白名单中。

3.根据权利要求1所述的Elastic Search集群间数据迁移方法，其特征在于，进一步包括预先对所述目标ES集群中索引进行备份的步骤：

建立与目标ES集群中每个目标索引对应的备份索引；

将所述目标索引中的数据复制至所述备份索引中。

4.根据权利要求3所述的Elastic Search集群间数据迁移方法，其特征在于，进一步包括：

将目标索引中的数据复制至所述备份索引的备份进度写入预设备份进度表中；

当所述备份进度表中的备份进度为备份完成时，通过数据迁移进程将所述待迁移索引的待迁移数据迁移至所述目标ES集群。

5.根据权利要求1所述的Elastic Search集群间数据迁移方法，其特征在于，所述分别将所述并行任务数量对应的待迁移索引传输至目标ES集群具体包括：

获取与所述并行任务数量对应的待迁移索引的待迁移数据；

根据预设加密规则对所述待迁移数据进行加密；

将加密后的待迁移数据传输至所述目标ES集群。

6.根据权利要求1所述的Elastic Search集群间数据迁移方法，其特征在于，进一步包括：

根据进程配置管理文件确定节流配置信息；

根据所述节流配置信息调整并行任务数量和迁移速度。

7.根据权利要求1所述的Elastic Search集群间数据迁移方法，其特征在于，进一步包括：

将待迁移索引传输至目标ES集群的迁移结果写入预设结果表中；

根据预设结果表中的迁移结果确定所有传输至目标ES集群的待迁移索引是否全部迁移成功；

若否，确定回退或重新迁移未迁移成功的待迁移索引。

8.一种Elastic Search集群间数据迁移装置，其特征在于，包括：

索引写入模块，用于将源ES集群中所有待迁移索引写入预设迁移队列中；

迁移配置模块，用于根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；

数据迁移模块，用于启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群。

9.一种Elastic Search集群间数据迁移系统，其特征在于，包括源ES集群、目标ES集群以及如权利要求8所述的数据迁移装置。

10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述程序时实现如权利要求1-7任一项所述方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，

该程序被处理器执行时实现如权利要求1-7任一项所述方法。