[发明专利]一种数据同步方法、设备及计算机可读存储介质

权利要求书

1.一种数据同步方法，其特征在于，包括如下步骤：

获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

2.根据权利要求1所述数据同步方法，其特征在于，所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种。

3.根据权利要求2所述数据同步方法，其特征在于，所述获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构的步骤包括：

获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息；

从与源库信息中源库名称对应的源库获取元数据；

解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

4.根据权利要求3所述数据同步方法，其特征在于，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤包括：

获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

5.根据权利要求4所述数据同步方法，其特征在于，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

6.根据权利要求5所述数据同步方法，其特征在于，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

7.根据权利要求6所述数据同步方法，其特征在于，所述第一sqoop同步脚本及hive程序、第二sqoop同步脚本及hive程序、第三sqoop同步脚本及hive程序的执行周期均为24h。

8.根据权利要求1-7任一项所述数据同步方法，其特征在于，所述元数据对应的元数据信息表至少包括表属主，表名称，表注释，列名称，列注释及列顺序。

9.一种数据同步设备，其特征在于，包括：处理器、存储器、通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的数据同步方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述的数据同步方法中的步骤。