[发明专利]一种数据同步方法、装置、系统、计算设备及存储介质

说明书

本发明公开了一种数据同步方法、装置、系统、计算设备及存储介质。其中，该方法包括：将源数据库中的第一数据的字段的字段名和字段值以键值对的形式存入中间存储器；基于中间存储器中的键值对，并根据预定转换规则，生成适用于目标数据库的数据插入语句，数据插入语句限定要插入目标数据库的第二数据的字段的字段名和字段值；以及使用数据插入语句将第二数据插入目标数据库。该方案可以实现不同类型数据库之间的数据同步。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据库之间数据同步的方法。

背景技术

数据库是按照数据结构来组织、存储和管理数据的仓库，而数据同步是两个不同的数据库之间的数据操作，以将一个数据库中的每个数据元素映射到另一个数据库中。常用的数据同步工具有datax、sqoop、flume、embulk等，各种数据同步工具的使用方法各有不同，应用场景也各有不同，且学习成本较高，需了解其底层原理进行调试。对于某一种应用场景，采用哪种工具最适合最高效，经验不足的技术人员往往难以判断。

因此，仍然需要一种通用的数据同步解决方案。

发明内容

本发明提供一种通用的数据同步方法、装置及系统，能够实现不同类型数据库之间的数据同步。

根据本发明的一个方面，提供了一种数据同步方法，包括：将源数据库中第一数据的字段的字段名和字段值以键值对的形式存入中间存储器；基于中间存储器中的键值对，并根据预定转换规则，生成适用于目标数据库的数据插入语句，其中，数据插入语句限定要插入目标数据库的第二数据的字段的字段名和字段值；以及使用数据插入语句将第二数据插入目标数据库。

其中，源数据库和目标数据库是相对的，通过该方法不需要专门的数据同步工具，可以对不同类型的数据库进行数据同步。

优选地，可以将源数据库中一行数据的字段名和字段值以键值对的形式写入一个数据结构单元，一个数据插入语句对应于一个数据结构单元，以在目标数据库中插入或更新一行数据。

这样，一个数据插入语句通过读取一个数据结构单元中存储的一行数据对应的字段名和字段值，将对应的一行数据的字段值按照预定转换规则转换后插入目标数据库中。

优选地，预定转换规则可以是源数据库的字段与目标数据库的字段的预定对应关系。数据插入语句中第二数据的字段的字段值可以根据预定对应关系从中间存储器中的键值对中获取。

并且/或者，预定转换规则可以是源数据库与目标数据库的对应字段各自的数据格式。数据插入语句中第二数据的字段的字段值可以从第一数据的字段值经过数据格式转变而获得。

并且/或者，预定转换规则还可以是需要添加到目标数据库中而不属于源数据库的字段的字段名和字段值。

并且/或者，预定转换规则还可以是在目标数据库中存在与源数据库中一行数据对应的一行数据的情况下，需要更新的字段的字段名和字段值。

并且/或者，预定转换规则也可以是适用于目标数据库的数据插入语句的格式信息。

优选地，该方法还包括：提供配置界面，以供用户配置预定转换规则。

另外，还可以在提供的配置界面配置数据源信息和目标数据库信息。

优选地，该方法还包括：配置JSON字符串，以在其中限定预定转换规则；以及将JSON字符串转换成可执行的预定转换规则。

优选地，可以使用生产者-消费者模式执行该数据同步方法。

其中，生产者模块将第一数据的字段的字段名和字段值以键值对的形式存入中间存储器。

消费者模块基于键值对和预定转换规则生成适用于目标数据库的数据插入语句，使用数据插入语句将第二数据插入目标数据库。