[发明专利]数据同步方法、装置、及存储介质、电子装置

权利要求书

1.一种数据同步方法，其特征在于，包括：

利用ETL工具中指定数量的多个Job将不同数据来源的待同步数据表压缩为多个文本文件，其中，每个所述Job用于将对应的一个或多个数据来源的待同步数据表压缩为一个文本文件，所述指定数量等于登录SFTP服务器的并发链路的数量；

利用每个所述Job将对应生成的文本文件通过对应的并发链路上传至所述SFTP服务器；

在所述SFTP服务器中解压每个所述文本文件，得到每个所述文本文件中的待同步数据表；

将同一数据来源的所述待同步数据表通过同一加载操作加载至目标Hive数据库对应的HDFS文件系统。

2.根据权利要求1所述的方法，其特征在于，所述利用ETL工具中指定数量的多个Job将不同数据来源的待同步数据表压缩为多个文本文件，包括：

获取所述并发链路的数量；

根据所述并发链路的数量确定所述指定数量和划分方案；

按照所述划分方案将所述不同数据来源的待同步数据表划分至所述指定数量的多个目录；

利用所述ETL工具的每个所述Job对对应的目录进行压缩，得到所述多个文本文件。

3.根据权利要求2所述的方法，其特征在于，

所述按照所述划分方案将所述不同数据来源的待同步数据表划分至所述指定数量的多个目录，包括：在目标数据来源的数据库中查询待同步数据；按照所述划分方案将查询到的待同步数据写入所述目标数据来源对应的目录中的待同步数据表；

所述利用所述ETL工具的每个所述Job对对应的目录进行压缩，包括：在任一目录中的待同步数据表写入完毕的情况下，利用已写完的目录所对应的Job按预设压缩格式压缩目录，得到对应的文本文件。

4.根据权利要求1所述的方法，其特征在于，所述在所述SFTP服务器中解压每个所述文本文件，得到每个所述文本文件中的待同步数据表，包括：

在任一文本文件上传至所述SFTP服务器中之后，按照目标解压方式解压对应的文本文件，得到对应的所述待同步数据表。

5.根据权利要求4所述的方法，其特征在于，所述将同一数据来源的所述待同步数据表通过同一加载操作加载至目标Hive数据库对应的HDFS文件系统，包括：

在任一数据来源的待同步数据表解压完毕的情况下，建立所述SFTP服务器与所述HDFS文件系统的连接链路；

利用建立的连接链路将对应数据来源的待同步数据表上传至所述HDFS文件系统。

6.根据权利要求5所述的方法，其特征在于，在利用建立的连接链路将对应数据来源的待同步数据表上传至所述HDFS文件系统之后，所述方法还包括：

在所述SFTP服务器中删除对应数据来源的待同步数据表。

7.一种数据同步装置，其特征在于，包括：

压缩模块，用于利用ETL工具中指定数量的多个Job将不同数据来源的待同步数据表压缩为多个文本文件，其中，每个所述Job用于将对应的一个或多个数据来源的待同步数据表压缩为一个文本文件，所述指定数量等于登录SFTP服务器的并发链路的数量；

上传模块，用于利用每个所述Job将对应生成的文本文件通过对应的并发链路上传至所述SFTP服务器；

解压模块，用于在所述SFTP服务器中解压每个所述文本文件，得到每个所述文本文件中的待同步数据表；

加载模块，用于将同一数据来源的所述待同步数据表通过同一加载操作加载至目标Hive数据库对应的HDFS文件系统。

8.根据权利要求7所述的装置，其特征在于，所述压缩模块包括：

获取单元，用于获取所述并发链路的数量；

确定单元，用于根据所述并发链路的数量确定所述指定数量和划分方案；

划分单元，用于按照所述划分方案将所述不同数据来源的待同步数据表划分至所述指定数量的多个目录；

压缩单元，用于利用所述ETL工具的每个所述Job对对应的目录进行压缩，得到所述多个文本文件。