[发明专利]一种数据同步方法、设备及计算机可读存储介质

说明书

技术领域

本发明涉及数据同步技术领域，具体涉及一种数据同步方法、设备及计算机可读存储介质。

背景技术

目前，对企业级数据库的数据进行同步操作（即将数据通过同步工具由源库同步至目标库）时，需要进行如下的开发：

1、根据源库表结构信息，建立目标hive数据库中对应的表；

2、根据使用的同步工具开发同步脚本程序；

上述过程中的建表脚本、以及同步脚本都是开发人员通过人工开发，开发过程复杂，效率低下，错误率高，极大的降低了数据同步的效率。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供数据同步方法、设备及计算机可读存储介质，旨在解决现有技术中在数据同步过程中建表脚本、以及同步脚本都是开发人员通过人工开发，开发过程复杂，效率低下，错误率高，极大的降低了数据同步的效率的缺陷。

为了达到上述目的，本发明采取了以下技术方案：

一种数据同步方法，其中，包括如下步骤：

获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

所述数据同步方法，其中，所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种。

所述数据同步方法，其中，所述获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构的步骤包括：

获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息；

从与源库信息中源库名称对应的源库获取元数据；

解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

所述数据同步方法，其中，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤包括；

获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

所述数据同步方法，其中，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

所述数据同步方法，其中，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

所述数据同步方法，其中，所述第一sqoop同步脚本及hive程序、第二sqoop同步脚本及hive程序、第三sqoop同步脚本及hive程序的执行周期均为24h。

所述数据同步方法，其中，所述元数据对应的元数据信息表至少包括表属主，表名称，表注释，列名称，列注释及列顺序。

一种数据同步设备，其中，包括：处理器、存储器、通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现所述的数据同步方法中的步骤。