[发明专利]数据同步方法、装置、设备及存储介质

说明书

本申请涉及一种数据同步方法、装置、设备及存储介质，属于数据处理技术领域。该数据同步方法包括：从目标数据库中获取全量数据，并将全量数据划分为多个具有不同数据类型的目标数据集；对于每个目标数据集，获取目标数据集对应的目标历史数据集，并根据目标数据集和目标历史数据集，检测目标数据集中是否存在更新数据；若目标数据集中存在更新数据，则将更新数据发送至同步服务器，更新数据用于同步服务器对存储的历史数据进行数据同步。本申请提供的数据同步方法、装置、设备及存储介质，能够提高数据的同步效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据同步方法、装置、设备及存储介质。

背景技术

当今在云计算、大数据、人工智能盛行的时代，对技术的需求也更加的多元化，现在网络上每天都会产生庞大的数据，这些数据通常可以选用不同的数据库来进行存储，而数据同步是保证数据库中数据可靠性的有效手段之一。

以非关系型数据库为例，非关系型数据库通常用于存储类型不固定的数据，目前，非关系型数据库中的数据同步通常是将非关系型数据库中存储的数据打包发送给相应的同步设备，以此实现非关系型数据库的数据同步。

然而，上述的数据同步方式，存在数据同步效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种数据同步方法、装置、设备及存储介质，能够提高数据的同步效率。

第一方面，本申请实施例提供了一种数据同步方法，该方法包括：从目标数据库中获取全量数据，并将全量数据划分为多个具有不同数据类型的目标数据集；对于每个目标数据集，获取目标数据集对应的目标历史数据集，并根据目标数据集和目标历史数据集，检测目标数据集中是否存在更新数据；若目标数据集中存在更新数据，则将更新数据发送至同步服务器，更新数据用于同步服务器对存储的历史数据进行数据同步。

在一个实施例中，目标数据集中包括至少一个目标待检测数据，根据目标数据集和目标历史数据集，检测目标数据集中是否存在更新数据，包括：对目标待检测数据进行哈希处理，得到目标待检测数据对应的目标哈希值；根据目标哈希值和目标历史数据集，检测目标数据集中是否存在更新数据。

在一个实施例中，目标历史数据集至少包括目标待检测数据对应的历史哈希值，根据目标哈希值和目标历史数据集，检测目标数据集中是否存在更新数据，包括：检测目标哈希值和历史哈希值是否相同；若目标哈希值和历史哈希值不同，则确定目标数据集中存在更新数据。

在一个实施例中，全量数据包括多个待检测数据和各待检测数据对应的数据类型标识，将全量数据划分为多个具有不同数据类型的目标数据集，包括：根据各待检测数据对应的数据类型标识，将全量数据划分为多个具有不同数据类型的目标数据集。

在一个实施例中，方法还包括：将目标数据集中的待检测数据以预设数据表的格式进行存储。

在一个实施例中，目标数据集中包括至少一个目标待检测数据和目标待检测数据对应的目标数据类型标识，获取目标数据集对应的历史数据集，包括：根据目标数据类型标识，查找目标数据类型标识对应的历史数据集，得到目标历史数据集，目标历史数据集为在历史时刻下，对目标数据库中的全量数据按照数据类型划分得到的，目标数据集和目标历史数据集的数据类型相同。

在一个实施例中，将全量数据划分为多个具有不同数据类型的目标数据集之后，还包括：将各目标数据集对应存储至分布式文件系统中的相应目录下。

在一个实施例中，从目标数据库中获取全量数据之前，方法还包括：若检测到同步触发事件，则检测同步触发事件是否为预设时间段内的首个同步触发事件；若同步触发事件是预设时间段内的首个同步触发事件，则将全量数据发送至同步服务器；若同步触发事件不是预设时间段内的首个同步触发事件，则执行从目标数据库中获取全量数据的步骤。