[发明专利]数据同步方法、装置、计算机设备和存储介质

说明书

本申请涉及一种基于大数据处理的数据同步方法、装置、计算机设备和存储介质。所述方法包括：接收第一终端发送的数据同步请求，所述数据同步请求包含用户标识和系统标识；调用第一同步脚本；所述第一同步脚本包括多个标签；获取所述系统标识对应的配置文件；根据所述配置文件，对第一同步脚本中的标签进行替换，并在消息队列中读取与所述用户标识对应的数据记录，根据所述数据记录生成第二同步脚本；基于所述第一同步脚本及所述第二同步脚本，得到数据同步脚本；执行所述数据同步脚本，将读取到的数据记录同步到所述系统标识对应的目标数据库。采用本方法能够提高数据同步效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据同步方法、装置、计算机设备和存储介质。

背景技术

数据同步是指将源数据库中的数据同步至目标数据库。然而，目前主要通过人工编写同步脚本在源数据库和目标数据库之间进行数据同步。且当需要对不同业务系统进行数据同步时，需要人工针对每个业务系统分别编写对应的数据同步脚本，操作繁琐，使得数据同步效率降低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据同步效率的数据同步方法、装置、计算机设备和存储介质。

一种数据同步方法，所述方法包括：接收第一终端发送的数据同步请求，所述数据同步请求包含用户标识和系统标识；调用第一同步脚本；所述第一同步脚本包括多个标签；获取所述系统标识对应的配置文件；根据所述配置文件，对第一同步脚本中的标签进行替换，并在消息队列中读取与所述用户标识对应的数据记录，根据所述数据记录生成第二同步脚本；基于所述第一同步脚本及所述第二同步脚本，得到数据同步脚本；执行所述数据同步脚本，将读取到的数据记录同步到所述系统标识对应的目标数据库。

在其中一个实施例中，所述在消息队列中读取与所述用户标识对应的数据记录之前，还包括：获取Spark任务产生的业务数据；所述业务数据包括多条数据记录；生成每条所述数据记录对应的数据摘要；从源数据库中获取多条历史记录分别对应的历史摘要；将每个所述数据摘要与多条所述历史摘要进行对比，得到新增的数据摘要；将所述新增的数据摘要对应的数据记录写入所述消息队列。

在其中一个实施例中，所述获取Spark任务产生的业务数据之前，还包括：接收第二终端提交的Spark任务及对应的参数文件；从所述参数文件读取所述Spark任务的资源分配参数，根据所述资源分配参数进行物理资源分配；基于所述物理资源执行所述Spark任务；在所述Spark任务执行期间，监测所述Spark任务的执行效率；当监测到所述执行效率低于阈值时，对所述配置文件中的资源分配参数进行调整，将所述Spark任务从已分配的物理资源调度至与调整后的资源分配参数相应的物理资源上继续执行。

在其中一个实施例中，所述Spark任务包括Shell脚本；所述Shell脚本预置了对所述参数文件的回调函数；所述从所述参数文件中读取所述Spark任务的资源分配参数，包括：通过执行所述Shell脚本启动所述Spark任务；基于所述回调函数，生成对所述参数文件的回调指令；根据所述回调指令拉取对应的参数文件；从拉取到的参数文件中读取所述资源分配参数。

在其中一个实施例中，所述数据同步脚本还包括第三同步脚本，所述将读取到的数据记录同步到所述系统标识对应的目标数据库，包括：计算所述用户标识对应的数据记录的数据量；判断所述数据量是否超过阈值；若是，调用所述第三同步脚本将所述数据记录拆分为多个数据组；调用多线程将多个所述数据组同步至所述目标数据库。