[发明专利]数据迁移方法、装置、设备、分布式系统及存储介质

说明书

本说明书实施例提供一种数据迁移方法、装置、设备、分布式系统及存储介质，所述方法应用于包括多个数据节点的分布式系统中的每个数据节点上，所述方法包括：确定本次数据迁移任务中本节点的待迁移表以及目标数据节点；将所述待迁移表中的增量数据写入所述待迁移表以及所述目标数据节点的目标数据表中，所述增量数据为在所述数据迁移任务启动之后对所述待迁移表中的数据进行更改操作得到的数据。本实施例实现对数据的有效迁移。

技术领域

本说明书涉及数据处理领域，尤其涉及数据迁移方法、装置、设备、分布式系统及存储介质。

背景技术

分布式系统是多个数据节点通过通信线路互联而构成的松散耦合的系统。每个数据节点都是一个能够独立处理某项事务的计算机设备；当其中一个数据节点的负荷较重时，为了减轻该数据节点的负荷，需要将该数据节点上的部分数据迁移至其他的数据节点。

因此，有必要提供一种数据迁移方法来实现数据的迁移。

发明内容

为克服相关技术中存在的问题，本说明书提供了数据迁移方法、装置、设备、分布式系统及存储介质。

第一方面，本说明书的实施例提供了一种数据迁移方法，应用于包括多个数据节点的分布式系统中的每个数据节点上，所述方法包括：

确定本次数据迁移任务中本节点的待迁移表以及目标数据节点；

将所述待迁移表中的增量数据写入所述待迁移表以及所述目标数据节点的目标数据表中，所述增量数据为在所述数据迁移任务启动之后对所述待迁移表中的数据进行更改操作得到的数据。

可选地，在所述确定本次数据迁移任务中本节点的待迁移表以及目标数据节点之后，还包括：

从本节点的数据库中获取所述待迁移表的元数据；

根据所述元数据在所述目标数据节点的数据库中建立所述目标数据表。

可选地，还包括：

将所述待迁移表中的存量数据写入所述目标数据节点的目标数据表，所述存量数据为在所述数据迁移任务启动之前所述待迁移表中的数据。

可选地，在将所述待迁移表中的增量数据写入所述待迁移表以及所述目标数据节点的目标数据表中之前，还包括：

记录位点信息，所述位点信息指示在将增量数据写入所述待迁移表以及所述目标数据表之前，所述待迁移表中的主键的取值范围；

所述将所述待迁移表中的存量数据写入所述目标数据节点的目标数据表，包括：

获取所述待迁移表的所述位点信息；

根据所述位点信息指示的所述待迁移表中的主键的取值范围，确定所述待迁移表中的存量数据；

读取所述待迁移表中的存量数据并写入所述目标数据表。

可选地，在所述待迁移表和所述目标数据表的迁移状态均为第一状态的情况下，执行将所述增量数据写入所述待迁移表以及所述目标数据表的操作；

则在所述将所述待迁移表中的增量数据写入所述待迁移表以及所述目标数据表中之前，还包括：

将所述待迁移表的迁移状态确定为第一状态；

将指示所述第一状态的状态信息同步给所述目标数据节点，以使所述目标数据节点将所述目标数据表的迁移状态确定为所述第一状态。

可选地，所述增量数据为在确定所述待迁移表和所述目标数据表的迁移状态均为所述第一状态之后，对所述待迁移表中的数据进行更改操作得到的数据；

所述存量数据为在确定所述待迁移表和所述目标数据表的迁移状态均为所述第一状态之前所述待迁移表中的数据。