[发明专利]数据复制方法、装置、设备及计算机存储介质

说明书

本申请公开了一种数据复制方法、装置、设备及计算机存储介质，该方法包括：获取待复制数据表的配置信息，配置信息至少包括待复制数据表的源集群地址、目标集群地址和数据表结构；查询待复制数据表的数据表结构，确定待复制数据表的分区信息；基于分区信息对待复制数据表进行分区，得到多个数据区；以数据区为复制单元，将待复制数据表中的数据从源集群地址对应的源集群复制至目标集群地址对应的目标集群。根据本申请实施例，以数据区为复制单元进行数据表复制，能够节省数据复制查询的时间，从而在相同环境资源条件下提高了待复制数据表的复制效率。

技术领域

本申请属于数据存储领域，尤其涉及一种数据复制方法、装置、设备及计算机存储介质。

背景技术

随着互联网时代的到来，数据库软硬件的升级无法满足爆炸式增长的业务需求和数据量，于是大数据平台应运而生，而在日益复杂的业务场景及灾备建设场景下，也难免会出现集群间大批量数据搬迁复制的需求。

目前，大规模并行处理架构(Massively Parallel Processing，MPP)的存储过程可以支持集群间的数据复制，但现有复制方法中大多是以整个数据表为复制单元进行数据复制，所以在环境资源有限的情况下，导致数据表的复制效率较低。

发明内容

本申请实施例提供了一种数据复制方法、装置、设备及计算机存储介质，以数据区为复制单元进行数据表复制，能够节省数据复制查询的时间，从而在相同环境资源条件下提高了数据表的复制效率。

第一方面，本申请实施例提供了一种数据复制方法，该方法包括：

获取待复制数据表的配置信息，配置信息至少包括待复制数据表的源集群地址、目标集群地址和数据表结构；

查询待复制数据表的数据表结构，确定待复制数据表的分区信息；

基于分区信息对待复制数据表进行分区，得到多个数据区；

以数据区为复制单元，将待复制数据表中的数据从源集群地址对应的源集群复制至目标集群地址对应的目标集群。

在第一方面的一些可实现方式中，分区信息至少包括数据区裁剪条件和数据区间，查询待复制数据表的数据表结构，确定待复制数据表的分区信息，包括：

查询待复制数据表的数据表结构，确定分区键信息；

基于分区键信息，并结合待复制数据表对应的业务复制需求，确定待复制数据表的数据区裁剪条件和数据区间。

在第一方面的一些可实现方式中，基于分区信息对待复制数据表进行分区，得到多个数据区，包括：

在每个数据区对应的数据区裁剪条件中使用不变操作符的情况下，基于数据区裁剪条件和数据区间对待复制数据表进行分区，得到多个数据区。

在第一方面的一些可实现方式中，基于分区信息对待复制数据表进行分区，得到多个数据区之后，该方法还包括：

基于复制脚本调用预设条件文件，并按所述预设条件文件的格式将数据区裁剪条件存入预设条件文件中；

基于预设条件文件的格式，对待复制数据表中按数据区裁剪条件划分的数据区进行梳理，确定每个数据区中的待复制数据。

在第一方面的一些可实现方式中，以数据区为复制单元，将待复制数据表中的数据从源集群地址对应的源集群复制至目标集群地址对应的目标集群，包括：

基于数据区的数据表结构，在目标集群中新建与数据区具有相同数据表结构的临时表和目标表；

从待复制数据表中每个数据区对应的数据区间中读取数据，并将待复制数据复制到每个数据区对应的临时表中；