[发明专利]一种数据迁移集群及数据迁移方法

说明书

本申请提供了一种数据迁移集群及数据迁移方法，数据迁移集群分别与第一分布式数据库和第二分布式数据库连接，数据迁移集群为分布式集群，包括集群管理节点和多个集群执行节点，每个集群执行节点与第一分布式数据库的至少一个存储节点部署在一台设备上；集群管理节点，接收由数据迁移工具启动的一个Map任务提交的数据迁移任务，并将数据迁移任务分发给各个集群执行节点；各个集群执行节点，读取与自身部署在一台设备上的存储节点的数据，并将读取的数据存储至第二分布式数据库。本申请提供的数据迁移集群及数据迁移方法使得两个分布式数据库间的数据迁移效率大大提高。

技术领域

本发明涉及数据迁移技术领域，尤其涉及一种数据迁移集群及数据迁移方法。

背景技术

Sqoop，是一款开源的工具，主要用于在Hadoop与传统的数据库(如mysql、postgresql等)间进行数据的传递，可以将一个关系型数据库(例如MySQL、Oracle、Postgres等)中的数据迁移到Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)中，也可以将HDFS的数据导进到关系型数据库中。由于Sqoop与Oozie工作流调度的配合使用非常方便，从而可以与spark、Mr等计算任务进行工作流的高效衔接处理，并且其定义了多种多样的迁移原语，使用方便，因此，Sqoop成为首选的数据迁移工具。

近年来，分布式数据库如MongoDB的使用频率越来越高，由于支持水平扩展、高可用、灵活查询等特性，MongoDB在处理非实时性事务处理的大数据处理方面有着无可比拟的优势，也有越来越多的人将自己的业务数据放在MongoDB中进行保存，因此，随之而来的是，实现MongoDB向HDFS的数据迁移场景越来越多。

目前，实现MongoDB向HDFS进行数据迁移的方案如图1所示：Sqoop启动多个MAP任务，每个MAP任务均需要建立一个与mongoDB主节点的连接，然后再由MongoDB主节点将任务交给MongoDB存储节点进行数据读取，在这种数据迁移方式中，由于多个MAP任务均需要建立与mongoDB主节点的连接，因此，MongoDB主节点会成为数据读取的瓶颈，数据的读取效率较低。

发明内容

有鉴于此，本发明提供了一种数据迁移集群及数据迁移方法，用以解决现有技术中的数据迁移效率较低的问题，其技术方案如下：

一种数据迁移集群，所述数据迁移集群分别与第一分布式数据库和第二分布式数据库连接；

所述数据迁移集群为分布式集群，包括集群管理节点和多个集群执行节点，每个集群执行节点与所述第一分布式数据库的至少一个存储节点部署在一台设备上；

所述集群管理节点，用于接收由数据迁移工具启动的一个Map任务提交的数据迁移任务，并将所述数据迁移任务分发给各个集群执行节点；

所述各个集群执行节点，用于读取与自身部署在一台设备上的存储节点的数据，并将读取的数据存储至所述第二分布式数据库。

其中，所述集群管理节点，还用于监测所述各个集群执行节点对所述数据读取任务的执行情况，并通过所述各个集群执行节点对所述数据迁移任务的执行情况向所述Map任务返回所述数据迁移任务的执行状态信息。

其中，所述集群管理节点，还用于在接收所述Map任务提交的所述数据迁移任务的同时，接收所述Map任务提交的回调地址；

则所述集群管理节点，具体用于基于所述回调地址，通过所述各个集群执行节点对所述数据迁移任务的执行情况，向所述Map任务返回所述数据迁移任务的执行状态信息。

其中，所述集群管理节点，具体用于在将所述数据迁移任务分发给所述各个集群执行节点之后，基于所述回调地址向所述MAP任务返回所述数据迁移任务开始执行的指示信息，以使所述Map任务在接收到所述数据迁移任务开始执行的指示信息时，将自身维护的任务状态信息由任务准备更新为任务执行；