[发明专利]Elastic Search集群间数据迁移方法、装置及系统

说明书

本发明提供了一种Elastic Search集群间数据迁移方法、装置及系统，可用于人工智能技术领域，所述方法包括：将源ES集群中所有待迁移索引写入预设迁移队列中；根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群，本发明可实现不同版本ES集群的数据批量迁移，提高ES集群的数据迁移效率。

技术领域

本发明涉及互联网技术领域，尤其涉及一种Elastic Search集群间数据迁移方法、装置及系统。

背景技术

Elastic Search(简称ES)是一个分布式、高扩展、高实时的搜索与数据分析引擎，可用于存储索引数据(一个索引相当于传统数据库中的一张表)，为使用者提供更灵活的在线数据查询服务。在使用ES时，常常会因为数据备份、产品升级、集群搬迁等原因需要对ES集群中的索引数据进行迁移。ES在用作查询功能时可视为一个数据库，但不具有一般关系型数据库多表关联、一致性和事务性等特性，在使用一般数据库的文件传输方式进行数据迁移时需要通过快照将数据进行文件固定，并且不支持不同版本ES集群间数据迁移，因此无法解决产品升级时新旧ES集群间数据同步的问题。

发明内容

本发明的一个目的在于提供一种Elastic Search集群间数据迁移方法，实现不同版本ES集群的数据批量迁移，提高ES集群的数据迁移效率。本发明的另一个目的在于提供一种Elastic Search集群间数据迁移装置。本发明的再一个目的在于提供一种ElasticSearch集群间数据迁移系统。本发明的还一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。

为了达到以上目的，本发明一方面公开了一种Elastic Search集群间数据迁移方法，包括：

将源ES集群中所有待迁移索引写入预设迁移队列中；

根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；

启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群。

优选的，进一步包括；

预先将源ES集群的IP地址写入目标ES集群的白名单中。

优选的，进一步包括预先对所述目标ES集群中索引进行备份的步骤：

建立与目标ES集群中每个目标索引对应的备份索引；

将所述目标索引中的数据复制至所述备份索引中。

优选的，进一步包括：

将目标索引中的数据复制至所述备份索引的备份进度写入预设备份进度表中；

当所述备份进度表中的备份进度为备份完成时，通过数据迁移进程将所述待迁移索引的待迁移数据迁移至所述目标ES集群。

优选的，所述分别将所述并行任务数量对应的待迁移索引传输至目标ES集群具体包括：

获取与所述并行任务数量对应的待迁移索引的待迁移数据；

根据预设加密规则对所述待迁移数据进行加密；

将加密后的待迁移数据传输至所述目标ES集群。

优选的，进一步包括：

根据进程配置管理文件确定节流配置信息；

根据所述节流配置信息调整并行任务数量和迁移速度。

优选的，进一步包括：

将待迁移索引传输至目标ES集群的迁移结果写入预设结果表中；