[发明专利]数据同步方法及装置、电子设备、存储介质

说明书

本说明书提供一种数据同步方法及装置、电子设备、存储介质，所述方法包括：在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。通过对数据同步任务的优化，提高了数据同步的容错性，且无需另设存储空间对未同步成功的数据进行标记，减小了资源消耗，同时提高了数据同步的效率。

技术领域

本说明书涉及大数据技术领域，尤其涉及数据同步方法及装置、电子设备、存储介质。

背景技术

目前数据同步过程中，特别是全量数据的同步，若数据同步任务失败，会直接抛出异常，导致该同步任务失败终止。由于全量数据的同步任务难以标记失败的点，也就无法确定哪些数据同步成功，哪些数据未同步成功，若再次执行该同步任务，需要重新将之前同步过的数据再次同步，容易造成资源浪费，成本过高。

发明内容

为克服相关技术中存在的问题，本说明书提供了数据同步方法及装置、电子设备、存储介质。

根据本说明书实施例的第一方面，提供一种数据同步方法，所述数据同步方法包括：

在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；

在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；

在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。

可选地，在确定所述异常原因的类型之前，还包括：

判断所述同步任务的执行时长是否小于时长阈值，或已同步数据量是否小于数据量阈值；

若判断为是，则重新执行所述同步任务和/或生成报警信息；

若判断为否，则执行确定所述异常原因的类型的步骤。

可选地，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；

根据所述同步任务的执行参数确定重试执行条件，包括：

根据时长系数与所述执行参数确定所述尝试执行时间段，所述时长系数由所述异常原因的历史统计恢复时长确定；

和/或，根据次数系数与所述执行参确定所述最大尝试次数，所述次数系数由所述异常原因的历史统计恢复时长确定。

可选地，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；

所述执行参数包含执行时长和/或已同步数据量；

所述尝试执行时间段的时长的计算公式为：

T＝a*t，或T＝b*S；

所述最大尝试次数的计算公式为：

I＝c*t，或I＝d*S；

其中，T表示所述尝试执行时间段的时长，t表示所述执行时长，S表示所述已同步数据量，a表示第一时长系数，b表示第二时长系数，I表示所述最大尝试次数，c表示第一次数系数，d表示第二次数系数。

可选地，若经过所述尝试执行时间段或尝试执行次数大于所述最大尝试次数，仍未成功，则重新执行所述同步任务和/或生成报警信息。

可选地，所述数据同步方法还包括：