[发明专利]数据规整迁移方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据规整迁移方法、装置、计算机设备和存储介质。所述方法包括：根据预设的源库分库分表规则和源数据表迁移批次信息，从源数据库中读取本批次迁移数据；根据预设的数据规整规则对待迁移数据进行数据分析，获得分析结果，分析结果包括清洁数据表和待查数据表；根据预设的目标库分库分表规则，将清洁数据表中的数据写入目标数据库中；检测对待查数据表中数据的选取操作，根据目标库分库分表规则，将选出的数据写入目标数据库。采用本方法能够提升迁移效率和迁移准确率。

技术领域

本申请涉及数据库技术领域，特别是涉及一种数据规整迁移方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术和数据库技术的发展，数据迁移成为了数据库数据处理中一个常用技术。数据迁移是数据系统整合中保证系统平滑升级和更新的关键部分，且目前数据库类型是多种多样的。

传统的数据迁移方式，主要针对不同数据库分别下载不同的备份工具，进行数据本地备份后，导入到新的数据库设备中，或者通过底层binlog(二进制日志)文件复制到新的数据库设备中。传统的数据迁移方式，备份导入过程慢，并且当今大企业中数据库基本都会分库分表，这样需要分别备份，对应导入，操作很繁琐并且容易出错，而且如果迁移前后的新老数据库类型不一致，很难保证导入数据的正确性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升迁移效率和迁移准确率的数据规整迁移方法、装置、计算机设备和存储介质。

一种数据规整迁移方法，该方法包括：

根据预设的源库分库分表规则和源数据表迁移批次信息，从源数据库中读取本批次迁移数据；

根据预设的数据规整规则对待迁移数据进行数据分析，获得分析结果，分析结果包括清洁数据表和待查数据表；

根据预设的目标库分库分表规则，将清洁数据表中的数据写入目标数据库中；

检测对待查数据表中数据的选取操作，根据目标库分库分表规则，将选出的数据写入目标数据库。

在其中一个实施例中，上述的分析结果还包括日志数据表和垃圾数据表；

上述的方法还包括：校验清洁数据表、待查数据表、日志数据表和垃圾数据表中的数据与本批次迁移数据的一致性，若一致，则进入根据预设的目标库分库分表规则，将清洁数据表中的数据写入目标数据库中的步骤。

在其中一个实施例中，上述的方法还包括：

校验清洁数据表、待查数据表、日志数据表和垃圾数据表中的数据是否符合数据规整规则，若清洁数据表、待查数据表、日志数据表和垃圾数据表中的数据，与本批次迁移数据一致且符合数据规整规则，则进入根据预设的目标库分库分表规则，将清洁数据表中的数据写入目标数据库中的步骤。

在其中一个实施例中，上述的方法还包括：检测本批次导入目标数据库中的数据是与清洁数据表中的数据以及选出的数据一致，若一致，发送本批次迁移数据的迁移完成提示信息。

在其中一个实施例中，上述的根据预设的源库分库分表规则和源数据表迁移批次信息，从源数据库中读取本批次迁移数据，可以包括：

根据源库分库分表规则和源数据表迁移批次信息，确定待迁移数据；

根据源数据表迁移批次信息，将待迁移数据的迁移任务拆分成多个迁移子任务；

在本批次迁移数据的迁移子任务启动后，从源数据库中读取本批次迁移数据。

在其中一个实施例中，上述的方法还包括：