[发明专利]数据同步方法、装置、计算机设备和存储介质

权利要求书

1.一种数据同步方法，所述方法包括：

接收第一终端发送的数据同步请求，所述数据同步请求包含用户标识和系统标识；

调用第一同步脚本；所述第一同步脚本包括多个标签；

获取所述系统标识对应的配置文件；

根据所述配置文件，对第一同步脚本中的标签进行替换，并在消息队列中读取与所述用户标识对应的数据记录，根据所述数据记录生成第二同步脚本；

基于所述第一同步脚本及所述第二同步脚本，得到数据同步脚本；

执行所述数据同步脚本，将读取到的数据记录同步到所述系统标识对应的目标数据库。

2.根据权利要求1所述的方法，其特征在于，所述在消息队列中读取与所述用户标识对应的数据记录之前，还包括：

获取Spark任务产生的业务数据；所述业务数据包括多条数据记录；

生成每条所述数据记录对应的数据摘要；

从源数据库中获取多条历史记录分别对应的历史摘要；

将每个所述数据摘要与多条所述历史摘要进行对比，得到新增的数据摘要；

将所述新增的数据摘要对应的数据记录写入所述消息队列。

3.根据权利要求2所述的方法，其特征在于，所述获取Spark任务产生的业务数据之前，还包括：

接收第二终端提交的Spark任务及对应的参数文件；

从所述参数文件读取所述Spark任务的资源分配参数，根据所述资源分配参数进行物理资源分配；

基于所述物理资源执行所述Spark任务；

在所述Spark任务执行期间，监测所述Spark任务的执行效率；

当监测到所述执行效率低于阈值时，对所述配置文件中的资源分配参数进行调整，将所述Spark任务从已分配的物理资源调度至与调整后的资源分配参数相应的物理资源上继续执行。

4.根据权利要求3所述的方法，其特征在于，所述Spark任务包括Shell脚本；所述Shell脚本预置了对所述参数文件的回调函数；所述从所述参数文件中读取所述Spark任务的资源分配参数，包括：

通过执行所述Shell脚本启动所述Spark任务；

基于所述回调函数，生成对所述参数文件的回调指令；

根据所述回调指令拉取对应的参数文件；

从拉取到的参数文件中读取所述资源分配参数。

5.根据权利要求1所述的方法，其特征在于，所述数据同步脚本还包括第三同步脚本，所述将读取到的数据记录同步到所述系统标识对应的目标数据库，包括：

计算所述用户标识对应的数据记录的数据量；

判断所述数据量是否超过阈值；

若是，调用所述第三同步脚本将所述数据记录拆分为多个数据组；

调用多线程将多个所述数据组同步至所述目标数据库。

6.一种数据同步装置，其特征在于，所述装置包括：

配置读取模块，用于接收第一终端发送的数据同步请求，所述数据同步请求包含用户标识和系统标识；调用第一同步脚本；所述第一同步脚本包括多个标签；获取所述系统标识对应的配置文件；

脚本更新模块，用于根据所述配置文件，对第一同步脚本中的标签进行替换，并在消息队列中读取与所述用户标识对应的数据记录，根据所述数据记录生成第二同步脚本；基于所述第一同步脚本及所述第二同步脚本，得到数据同步脚本；

数据同步模块，用于执行所述数据同步脚本，将读取到的数据记录同步到所述系统标识对应的目标数据库。

7.根据权利要求6所述的装置，其特征在于，还包括数据存储模块，用于获取Spark任务产生的业务数据；所述业务数据包括多条数据记录；生成每条所述数据记录对应的数据摘要；从源数据库中获取多条历史记录分别对应的历史摘要；将每个所述数据摘要与多条所述历史摘要进行对比，得到新增的数据摘要；将所述新增的数据摘要对应的数据记录写入所述消息队列。