[发明专利]迁移数据的方法、装置、电子设备和可读存储介质

说明书

本发明提供一种迁移数据的方法、装置、电子设备和可读存储介质，能够解决数据迁移过程中，业务应用长时间停写问题，从而实现业务应用不停写的无缝迁移数据。该方法包括：配置集群间复制服务，并暂停复制服务；创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。

技术领域

本发明涉及计算机技术领域，尤其涉及一种迁移数据的方法、装置、电子设备和可读存储介质。

背景技术

由于数据量增长、大数据普及，越来越多的业务系统选择使用数据库集群作为存储。随着集群的数量和规模的扩大，涉及的集群间数据迁移不断增多。

现有技术的集群间数据迁移通常是利用Distcp(Distcp，即分布式拷贝，是用于大规模集群内部和集群之间拷贝的工具)工具拷贝文件的方式进行，并在目标集群执行数据加载实现迁移。以HBase(一种分布式的、面向列的开源数据库)集群为例，现有技术的迁移数据的过程大致如图1所示。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：Distcp工具在操作前需要禁用表，确保没有数据写入。因此，数据迁移过程中业务应用需要长时间停止写。这就会对线上业务的使用产生影响，形成不好的用户体验，同时也无法满足业务应用对数据库集群高可用的要求。

发明内容

有鉴于此，本发明实施例提供一种迁移数据的方法、装置、电子设备和可读存储介质，能够解决数据迁移过程中，业务应用长时间停写问题，从而实现业务应用不停写的无缝迁移数据。

为实现上述目的，根据本发明实施例的一个方面，提供了一种迁移数据的方法。

本发明实施例的一种迁移数据的方法包括：配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指保留业务应用对源集群的操作暂不发送至目标集群；创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。

可选地，所述集群为HBase集群。

可选地，配置集群间复制服务包括：配置Replication队列，将所述源集群的WAL日志通过Replication队列发送至所述目标集群，其中，所述WAL日志用于保存业务应用对源集群的操作；以及在所述目标集群回放所述WAL日志，以将业务应用对所述源集群的操作更新至目标集群。

可选地，所述方法还包括：在暂停复制服务期间，所述源集群保留所述WAL日志。

可选地，利用所述快照更新所述目标集群的数据包括：利用所述快照更新所述目标集群的表的定义；恢复表的Region信息；以及下线变化的Region，更新meta表的信息。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种迁移数据的装置。

本发明实施例的一种迁移数据的装置包括：配置模块，用于配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指保留业务应用对源集群的操作暂不发送至目标集群；快照模块，用于创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；更新模块，用于利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；复制模块，用于在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。

可选地，所述集群为HBase集群。