[发明专利]一种数据同步方法、装置、终端及存储介质

权利要求书

1.一种数据同步方法，其特征在于，所述方法包括：

获取第一同步任务，对所述第一同步任务进行分片，得到至少一个分片任务，其中，所述第一同步任务中包括多条数据ID，各个所述分片任务分别包括若干个连续的数据ID；

根据各个所述分片任务生成迁移计划，当所述至少一个分片任务中的目标分片任务被执行时，根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据；

将读取到的各个所述目标数据同步至第二数据源中。

2.根据权利要求1所述的数据同步方法，其特征在于，所述根据各个所述分片任务生成迁移计划，包括：

当已生成的迁移计划的数量小于所述分片任务的数量时，检测分布式锁；

根据获得分布式锁的所述分片任务生成迁移计划并重复执行所述检测分布式锁的步骤直至已生成的迁移计划等于所述分片任务的数量。

3.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据，包括：

根据所述目标分片任务对应的迁移计划的开始ID从所述第一数据源中读取预设数量条目标数据；

其中，所述目标分片任务对应的迁移计划的所述开始ID的初始值为所述目标分片任务中包括的若干个连续的数据ID中的第一个数据ID。

4.根据权利要求3所述的数据同步方法，其特征在于，所述将读取到的各个所述目标数据同步至第二数据源中，包括：

对读取到的各个所述目标数据进行第一预设处理后写入至所述第二数据源中；

对写入至所述第二数据源中的所述目标数据进行第二预设处理，并将各个所述目标数据中最后一条数据对应的ID更新所述目标分片任务中的所述开始ID；

重复执行所述根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据的步骤，直至将所述目标分片任务对应的迁移计划中的结束ID对应的数据写入至所述第二数据源中。

5.根据权利要求1所述的数据同步方法，其特征在于，所述将读取到的各个所述目标数据同步至第二数据源中之后，还包括：

获取第二同步任务，所述第二同步任务中包括同步时间戳；

根据所述同步时间戳在所述第一数据源中查找各个第一目标数据ID，所述第一目标数据ID对应的数据的更新时间戳不早于所述同步时间戳；

分别获取各个所述第一目标数据ID对应的第一更新时刻和第二更新时刻，所述第一更新时刻为所述第一目标数据ID在所述第一数据源中对应的数据的更新时刻，所述第二更新时刻为所述第一目标数据ID在所述第二数据源中对应的数据的更新时刻；

当所述第一目标数据ID对应的所述第一更新时刻晚于所述第二更新时刻时，从所述第一数据源中读取所述第一目标数据ID对应的数据并进行第一预设处理，根据进行所述第一预设处理后的数据更新所述第二数据源中所述第一目标数据ID对应的数据。

6.根据权利要求5所述的数据同步方法，其特征在于，所述根据进行所述第一预设处理后的数据更新所述第二数据源中所述第一目标数据ID对应的数据之后，包括：

当所述第一数据源中更新时刻最晚的数据的更新时间戳与所述同步时间戳相同，对所述同步时间戳进行更新，更新后的所述同步时间戳对应的时刻晚于更新前的所述同步时间戳对应的时刻；

当所述第一数据源中更新时刻最晚的数据的更新时间戳晚于所述同步时间戳，将所述同步时间戳更新为所述第一数据源中更新时刻最晚的数据的更新时间戳。