[发明专利]数据迁移方法、装置、存储介质及数据迁移设备

说明书

本申请公开了一种数据迁移方法、装置、存储介质及数据迁移设备，该数据迁移方法应用于数据迁移系统，该数据迁移系统包括源集群、目标集群和消息队列，该数据迁移方法包括：获取迁移指令，并根据迁移指令将存量数据由源集群同步至目标集群，以及将增量数据写入源集群和目标集群；当增量数据写入目标集群发生异常时，将增量数据中写入目标集群发生异常的数据确定为目标数据，并将目标数据写入消息队列；获取合并指令，并根据合并指令和目标数据的数据版本将目标数据合并至目标集群，从而提高数据迁移的效率，且减少了数据迁移过程中用户的参与度。

技术领域

本申请涉及通信技术领域，具体涉及一种数据迁移方法、装置、存储介质及数据迁移设备。

背景技术

Elasticsearch是常用的大数据搜索引擎，其具有大型的分布式集群(数百台服务器)技术，在Elasticsearch版本升级时，需要将数据从低版本集群迁移至高版本集群。

目前，主要通过业务方双写以及增量消息回流的方式进行集群数据迁移，即将增量数据全部写入消息队列，当存量数据导入高版本集群后，通过消息回流的方式将增量数据补偿至低版本集群和高版本集群，导致数据更新延迟，并且，这种方式需要业务方修改代码和操作，导致数据迁移的效率较低。

发明内容

本申请提供了一种数据迁移方法、装置、存储介质及数据迁移设备，从而提高数据迁移的效率，且减少了数据迁移过程中用户的参与度，使得数据迁移更加智能化。

本申请提供了一种数据迁移方法，应用于数据迁移系统，所述数据迁移系统包括源集群、目标集群和消息队列，所述数据迁移方法包括：

获取迁移指令，并根据所述迁移指令将存量数据由所述源集群同步至所述目标集群，以及将增量数据写入所述源集群和所述目标集群；

当所述增量数据写入所述目标集群发生异常时，将所述增量数据中写入所述目标集群发生异常的数据确定为目标数据，并将目标数据写入所述消息队列；

获取合并指令，并根据所述合并指令和所述目标数据的数据版本将所述目标数据合并至所述目标集群。

本申请还提供了一种数据迁移装置，应用于数据迁移系统，所述数据迁移系统包括源集群、目标集群和消息队列，所述数据迁移装置包括：

获取模块，用于获取迁移指令，根据所述迁移指令将存量数据由源集群同步至目标集群，并将增量数据写入所述源集群和所述目标集群；

写入模块，用于当所述增量数据写入所述目标集群发生异常时，将所述增量数据中写入所述目标集群发生异常的数据确定为目标数据，并将目标数据写入消息队列；

合并模块，用于获取合并指令，并根据所述合并指令和所述目标数据的数据版本将所述目标数据合并至所述目标集群。

在本申请提供的数据迁移装置中，所述写入模块具体用于：根据所述目标数据生成事务日志，所述事务日志包括所述目标数据以及所述目标数据的第一数据标识和第一数据版本；将所述事务日志写入所述消息队列。

在本申请提供的数据迁移装置中，所述合并模块具体用于：根据所述第一数据标识确定所述目标集群中与所述目标数据对应的第一数据；根据所述目标数据、所述第一数据版本和所述第一数据的第二数据版本，将所述目标数据合并至所述目标集群。

在本申请提供的数据迁移装置中，所述合并模块具体用于：若所述第一数据版本不高于所述第二数据版本，则将所述目标数据舍弃，并将所述日志从所述消息队列中删除；若所述第一数据版本高于所述第二数据版本，则使用所述目标数据覆盖所述第一数据。

在本申请提供的数据迁移装置中，所述事务日志中还记录有所述目标数据的写入时间，所述数据迁移装置还包括生存模块，用于：根据所述写入时间确定所述目标数据的生存时长；若所述生存时长大于阈值，则将所述事务日志从所述消息队列中删除。