[发明专利]用于分布式数据存储集群的数据迁移方法和装置

说明书

本申请实施例提供了一种用于分布式数据存储集群的数据迁移方法和装置，其中方法包括：获取源集群的工作节点的预写式日志WAL，该WAL用于记录工作节点的已存储数据，读取WAL的内容，以从工作节点的已存储数据中获取目标迁移数据，将目标迁移数据发送至消息中间件，消息中间件用于向目标数据集群提供目标迁移数据。

技术领域

本申请涉及计算机领域，尤其涉及一种用于分布式数据存储集群的数据迁移方法和装置。

背景技术

在分布式数据存储集群中，通常需要将数据库存储的数据同步到其他数据库中。以HBase为例，通常需要将HBase中的数据同步到其他数据库中，如将HBase中的数据同步到其他数据库中进行数据分析，或者将HBase中的数据同步到其他数据库中创建检索索引。基于此，有必要提供一种技术方案，以对分布式数据存储集群存储的数据进行迁移。

发明内容

本申请实施例的目的是提供一种用于分布式数据存储集群的数据迁移方法和装置，以对分布式数据存储集群存储的数据进行迁移。

为达到上述目的，本申请实施例是这样实现的：

本申请实施例提供了一种用于分布式数据存储集群的数据迁移方法，包括：获取源集群的工作节点的预写式日志WAL，所述WAL用于记录所述工作节点的已存储数据；读取所述WAL的内容，以从所述工作节点的已存储数据中获取目标迁移数据；将所述目标迁移数据发送至消息中间件，所述消息中间件用于向目标数据集群提供所述目标迁移数据。

本申请实施例提供了一种用于分布式数据存储集群的数据迁移装置，包括：获取模块，用于获取源集群的工作节点的预写式日志WAL，所述WAL用于记录所述工作节点的已存储数据；读取模块，用于读取所述WAL的内容，以从所述工作节点的已存储数据中获取目标迁移数据；迁移模块，用于将所述目标迁移数据发送至消息中间件，所述消息中间件用于向目标数据集群提供所述目标迁移数据。

本申请实施例提供了一种用于分布式数据存储集群的数据迁移设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器实现上述的数据迁移方法。

本申请实施例提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现上述的数据迁移方法。

本实施例中，通过获取源集群的工作节点的预写式日志WAL，该WAL用于记录工作节点的已存储数据，读取WAL的内容，以从工作节点的已存储数据中获取目标迁移数据，将目标迁移数据发送至用于向目标数据集群提供目标迁移数据消息中间件，能够对源集群存储的数据进行迁移，将源集群存储的数据导入目标数据集群。由于无需监听分布式数据存储集群的数据存储操作，通过读取WAL的内容即可获取目标迁移数据，因此使得数据迁移流程与数据存储流程互不干涉，节省了系统资源，提高了数据迁移效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的分布式数据存储集群的示意图；

图2为本申请一实施例提供的数据迁移方法的流程示意图；

图3为本申请一实施例提供的数据迁移的示意图；

图4a为本申请一实施例提供的数据迁移的示意图；

图4b为本申请一实施例提供的数据迁移的示意图；

图5为本申请一实施例提供的数据迁移装置的模块组成示意图；

图6为本申请一实施例提供的数据迁移设备的结构示意图。

具体实施方式