[发明专利]一种数据库的数据同步方法、装置、设备及存储介质

说明书

本发明提供了一种数据库的数据同步方法、装置、设备及存储介质，此方法包括预先对同步数据的环境进行表配置和字段配置以及基于表配置和字段配置将源表中需要同步的数据同步至目标表中。该同步数据包括源表中需要同步的数据和目标表中被同步的数据，该表配置包括对数据进行同步的同步类型，该字段配置包括对字段进行格式转换的转换方法。此方法由配置完成数据同步，方式简单，并且，利用配置的同步类型实现多种同步形式进行数据同步，利用配置的转换方法实现对字段的格式转换，实现在数据同步过程中，对字段进行格式转换、逻辑运算。

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据库的数据同步方法、装置、设备及存储介质。

背景技术

目前，数据库中，表对表之间的数据同步需要做繁琐的字段映射开发，同步逻辑开发以及转换关系的开发。并且，在数据同步过程中，不能对字段进行格式转换、逻辑运算、并以多种同步形式进行数据同步。

因此，现有技术有待改进和发展。

发明内容

为了解决上述现有技术的缺陷和不足，本发明提供了一种数据库的数据同步方法、装置、设备及存储介质，用于解决现有技术中数据同步需做繁琐的各项开发的问题，以及用于解决现有技术在数据同步过程中不能对字段进行格式转换、逻辑运算、并以多种同步形式进行数据同步的问题。

本发明所采用的技术方案如下：

一方面，本发明提供了一种数据库的数据同步方法，包括：

预先对同步数据的环境进行表配置和字段配置，其中，所述同步数据包括源表中需要同步的数据和目标表中被同步的数据，所述表配置包括对数据进行同步的同步类型，所述字段配置包括对字段进行格式转换的转换方法；

基于表配置和字段配置将源表中需要同步的数据同步至目标表中。

具体的，所述同步类型包括O类型、C类型、I类型、M类型和F类型；

其中，O类型是基于流水ID表，通过读取配置的方式进行数据同步；

C类型是基于Control表进行数据同步；

I类型是基于时间戳进行增量同步，并且，若目标数据库已经存在需要同步的数据的ID记录，则不会进行数据同步，否则，复制需要同步的数据至目标表中；

M类型是基于配置的取值SQL进行数据同步，并在数据同步后，会根据同步后的数据ID将源数据库中对应的数据删除；

F类型是基于配置中的目标表信息，先删除目标表所有数据内容，再将源表的数据全部同步至目标表。

优选地，所述数据库的数据同步方法，在所述基于表配置和字段配置将源表中需要同步的数据同步至目标表中之前，还包括：

基于定时任务触发执行数据同步，并调用相应的表配置和字段配置；

获取定时任务中同步数据的运行配置信息；

对定时任务中的业务代码进行处理；

判断当前定时任务是否处于开启状态，若是，则

将配置信息组装成通用消息模板发布至消息列队。

优选地，所述基于表配置和字段配置将源表中需要同步的数据同步至目标表中，是基于消息列队中对应的数据同步消息触发执行，具体包括如下步骤：

根据预先表配置中的同步类型，提取同步数据；

判断源表中需要同步的数据是否提取，若是，则

根据预先字段配置中的转换方法对源表中需要同步的数据进行格式转换；