[发明专利]一种数据同步方法、装置、终端及存储介质

说明书

本发明公开了一种数据同步方法、装置、终端及存储介质，方法包括：获取第一同步任务，对所述第一同步任务进行分片，得到至少一个分片任务，其中，所述第一同步任务中包括多条数据ID，各个所述分片任务分别包括若干个连续的数据ID；根据各个所述分片任务生成迁移计划，当所述至少一个分片任务中的目标分片任务被执行时，根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据；将读取到的各个所述目标数据同步至第二数据源中。本发明的同步过程可使用通用的语言实现，不依赖于第一数据源或第二数据源的结构，可以实现异构数据源之间的数据同步。

技术领域

本发明涉及数据同步技术领域，特别涉及一种数据同步方法、装置、终端及存储介质。

背景技术

当前最常见的数据同步方案为Canal项目，具体通过订阅和消费Mysql数据库binlog来完成数据同步，因此，其面向的主体仅限于Mysql或者Mysql衍生产品，即同步双方均需为Mysql或其衍生产品方可使用，属于同构数据源的同步。而在实际中，由于信息系统开发时间和选用技术的不同，存在很多异构数据源之间进行数据同步的需要，目前的数据同步方案不能实现。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种数据同步方法、装置、终端及存储介质，旨在解决现有技术中的数据同步方案不能实现异构数据源之间的数据同步的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

本发明的第一方面，提供一种数据同步方法，所述方法包括：

获取第一同步任务，对所述第一同步任务进行分片，得到至少一个分片任务，其中，所述第一同步任务中包括多条数据ID，各个所述分片任务分别包括若干个连续的数据ID；

根据各个所述分片任务生成迁移计划，当所述至少一个分片任务中的目标分片任务被执行时，根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据；

将读取到的各个所述目标数据同步至第二数据源中。

所述的数据同步方法，其中，所述根据各个所述分片任务生成迁移计划，包括：

当已生成的迁移计划的数量小于所述分片任务的数量时，检测分布式锁；

根据获得分布式锁的所述分片任务生成迁移计划并重复执行所述检测分布式锁的步骤直至已生成的迁移计划等于所述分片任务的数量。

所述的数据同步方法，其中，所述根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据，包括：

根据所述目标分片任务对应的迁移计划的开始ID从所述第一数据源中读取预设数量条目标数据；

其中，所述目标分片任务对应的迁移计划的所述开始ID的初始值为所述目标分片任务中包括的若干个连续的数据ID中的第一个数据ID。

所述的数据同步方法，其中，所述将读取到的各个所述目标数据同步至第二数据源中，包括：

对读取到的各个所述目标数据进行第一预设处理后写入至所述第二数据源中；

对写入至所述第二数据源中的所述目标数据进行第二预设处理，并将各个所述目标数据中最后一条数据对应的ID更新所述目标分片任务中的所述开始ID；

重复执行所述根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据的步骤，直至将所述目标分片任务对应的迁移计划中的结束ID对应的数据写入至所述第二数据源中。

所述的数据同步方法，其中，所述将读取到的各个所述目标数据同步至第二数据源中之后，还包括：